Il y a une question qu'on nous pose souvent : « Le score rapide, c'est fiable ? »
La réponse honnête est : ça dépend. Fiable pour quoi ? Pour quel usage ? Avec quelle décision en bout de chaîne ?
Cet article explique exactement ce que couvre le score rapide, ce qu'il ne couvre pas, et — surtout — dans quels contextes l'écart entre les deux modes peut être décisif.
Ce que fait le score rapide en 5 secondes
Quand vous saisissez un PMID ou un DOI dans Publi-Score, le score rapide se calcule automatiquement en interrogeant des APIs publiques : PubMed, Crossref, OpenAlex, Semantic Scholar, ClinicalTrials.gov, PROSPERO.
En 5 secondes, il sait :
- Le type d'étude déclaré (RCT, méta-analyse, cohorte, série de cas…)
- La taille de l'échantillon déclarée
- Si l'étude a été pré-enregistrée sur ClinicalTrials.gov ou PROSPERO
- Le délai de soumission à acceptation (signal de peer review) via Crossref
- L'impact bibliométrique : facteur d'impact du journal, citations, h-index des auteurs
- L'accès ouvert et la version disponible
- La fraîcheur de l'étude
- Les signaux d'intégrité : rétractation, journal prédateur, erratum, expression of concern
Ce que le score rapide ne peut pas faire : lire le PDF. Il n'a accès qu'aux métadonnées et à l'abstract.
Les 47 points qui manquent — et pourquoi ils comptent
Le score rapide couvre ~53 points sur 100 évaluables. Les ~47 points restants nécessitent le PDF.
§2.1 Niveau de preuve — ~12 points manquants
Le type d'étude déclaré n'est pas toujours le type d'étude réel. Un article peut se déclarer « RCT » dans PubMed alors que le PDF révèle une randomisation factice. En mode rapide, l'article est scoré sur ce qu'il dit être, pas sur ce qu'il est.
§2.2 Qualité méthodologique — ~10 points manquants
Calcul de puissance a priori, analyse en intention de traiter effective, gestion des données manquantes — ces critères ne peuvent être évalués qu'en lisant la section « Methods ». Un article peut déclarer « analyse en intention de traiter » dans son abstract et exclure des patients en page 7.
§2.4 Reproductibilité & transparence — ~14 points manquants
La section la plus impactée. Le pré-enregistrement d'existence est détectable via APIs. Mais la conformité au plan pré-enregistré— l'article fait-il ce qu'il a dit qu'il ferait ? y a-t-il de l'outcome switching ? — est invisible sans le PDF.
§2.5 Pertinence clinique — ~7 points manquants
NNT, NNH, différence absolue vs relative, applicabilité externe : ces éléments nécessitent de lire les résultats. L'abstract les résume souvent en choisissant les indicateurs les plus favorables.
Le coefficient d'intégrité : ce que le rapide couvre déjà bien
Le coefficient d'intégrité est couvert à ~80% en mode rapide. C'est son point fort.
✓ Détecté automatiquement
- Rétractation PubMed → score X immédiat
- Expression of Concern
- Journal prédateur vérifié
- Délai soumission-acceptation < 10 jours
⚠ Nécessite le PDF
- COI non vérifiables sans le PDF (déclarés ou non dans le corps de l'article)
- Ghostwriting
- Données internes incohérentes
Deux situations où l'écart est décisif
Situation 1 — L'article semblait bon, mais il ne l'était pas
Un essai vitamine D, journal IF 8, N = 2 400, pré-enregistré. Score rapide : C (62/100). Le PDF révèle un outcome switching non déclaré (critère primaire changé). Score complet IA : E (31/100). Écart : 31 points.
Situation 2 — L'article semblait passable, mais il était solide
Étude sur les biais cognitifs, pré-enregistrée, revue peu connue. Score rapide : D (44/100)— pénalisé par un IF faible. Le PDF révèle : ITT rigoureuse, données OSF, conformité CONSORT complète. Score complet IA : B (79/100). Écart : 35 points dans l'autre sens.
Règle d'usage : quand se contenter du rapide ?
| Contexte | Mode |
|---|---|
| Tri de 20 articles, veille thématique | ⚡ Rapide |
| Décision clinique — adapter sa pratique | 🤖 Complet IA (PDF) |
| Citation dans un article, enseignement | 🤖 Complet IA (PDF) |
| Vérification d'une annonce médiatique | ⚡ puis 🤖 si suspect |
| Article rétracté suspecté | ⚡ Rapide (rétractation 100%) |
Tableau récapitulatif
| ⚡ Score rapide | 🤖 Score complet IA (PDF) | |
|---|---|---|
| Couverture | ~53% des critères | 100% |
| Rétractations | ✅ 100% | ✅ 100% |
| Outcome switching | ❌ Invisible | ✅ Visible |
| Temps | ~5 secondes | ~45 secondes |
| Quota | Illimité | 5/mois (gratuit) |
| Usage recommandé | Tri, veille | Décision, citation |
Le score rapide est un outil de premier tri puissant. Le score complet est un outil de décision. Ils ne se substituent pas l'un à l'autre — ils se complètent. Chaque score rapide dans le catalogue est accompagné du badge « Métadonnées uniquement »et d'une barre de complétude visible.
Tester les deux modes sur un article →
La documentation complète de la méthodologie est publique : publi-score.ai/methodology