Les modes de scoring
Comment Publi-Score calcule le score selon les données disponibles. Données empiriques mesurées sur 28 articles paired du corpus de référence (50 articles, distribution gaussienne neutre μ=50/σ=20).
Méthodologie en vigueur : v1.1 (depuis le 17/05/2026)
Qu'est-ce qu'une version de méthodologie ?
Tableau comparatif
| ⚡ Rapide | 🔬 Partiel IA (abstract) | 📝 Complet manuel | 🤖 Complet IA (PDF) | |
|---|---|---|---|---|
| Entrée | PMID/DOI | PMID uniquement | PMID + PDF | PMID + PDF |
| Couverture critères | ~53/100 | ~85/100 | 100/100 | 100/100 |
| Couverture intégrité | ~80% | ~80% | 100% | 100% |
| Durée | ~2–5 sec | ~30–60 sec | ~10–30 min | ~30–60 sec |
| Objectivité | ✅ Auto | ✅ LLM | ⚠️ Biais humain | ✅ LLM |
| Publié au catalogue | ✅ | ✅ | ❌ | ✅ |
| Compte requis | Non | Oui (gratuit) | Non | Oui (gratuit) |
| Quota | Illimité | Partagé avec Complet IA (même enveloppe) | Illimité | 5/mois (gratuit) |
Ce que le mode rapide couvre (et ne couvre pas)
✓ Ce qu'il couvre
- • §2.3 Impact bibliométrique — 100% (citations, h-index)
- • §2.6 Fraîcheur — ~69% (date publication)
- • §2.1 Niveau de preuve — ~57% (type d'étude, randomisation)
- • Rétractations — 100% (API PubMed + Retraction Watch)
- • Signaux d'alerte — 100% (journaux prédateurs, EoC)
Total : ~53% des critères · ~80% intégrité
⚠ Ce que le mode rapide ne couvre pas
- • Analyse ITT réelle (intention de traiter)
- • Conformité au protocole pré-enregistré
- • Partage des données brutes
- • Rapport bénéfice/risque clinique
- • §2.7 Qualité rédactionnelle — 0% (nécessite le PDF)
~47% des critères non évaluables sans PDF
Le mode Partiel IA sans PDF
Le mode Partiel IA (abstract) utilise uniquement l'abstract et les métadonnées de l'article — sans PDF. L'IA évalue 24 sous-critères sur 26 (92% de couverture, 2 sous-critères restants non évaluables : partage des données brutes et du code). Fidélité 60% vs mode complet (65% concordance × 24/26 sous-critères, mesuré sur 28 articles paired du corpus de référence).
60%
Fidélité (concordance × couverture)
24/26
Sous-critères évaluables (92%)
65%
Concordance avec PDF (moy. paliers)
2/26
critère non évaluable sans PDF
Pourquoi 60% et pas 100% ?
- • L'abstract ne contient pas tout — certains éléments du PDF restent inaccessibles (figures, tableaux, méthodes détaillées, références). L'IA évalue ce qu'elle peut documenter à partir de l'abstract, mais reste prudente quand l'information manque.
- • §2.4 Reproductibilité & transparence — les sous-critères « partage des données brutes » et « partage du code » nécessitent un examen du PDF (sections Data Availability) ou des dépôts associés. Inaccessibles via abstract seul : 0 pt systématiquement.
Ce mode produit un score détaillé avec justifications par critère — il est juste partiel, non dégradé. La Fidélité = Concordance × Couverture = 65% × 24/26 = 60%. Palier proche dans 86% des cas. Activation automatique quand le PDF n'est pas en open access.
Activation : fallback auto si PDF OA indisponible. Mesuré sur un corpus représentatif de 50 articles thématiques (COVID, Mental Health, Nutrition, Cardio, Onco, Infectious, MetaEpistemo, Genetics — distribution équilibrée des paliers A→E reflétant la science médicale ordinaire).
Le mode Rapide algorithmique
Le mode Rapide utilise uniquement les métadonnées publiques (PubMed, OpenAlex, Semantic Scholar…) et les règles algorithmiques — sans IA. Il évalue les 13 sous-critères accessibles via des bases de données publiques sur 26 (50% de couverture). Fidélité 40% vs mode complet (76% concordance × 13/26 sous-critères, mesuré sur 28 articles appariés du corpus de référence).
40%
Fidélité (concordance × couverture)
13/26
Sous-critères évaluables (50%)
76%
Concordance avec PDF (moy. paliers)
13/26
sous-critères PDF-only non évaluables
Pourquoi 40% de Fidélité ?
La Fidélité = Concordance × Couverture. Le mode Rapide atteint 76% de concordance avec le mode complet (PDF) sur le corpus apparié n=28 (palier proche dans 100% des cas, palier exact dans 52%) — excellente stabilité grâce aux signaux quantitatifs des bases publiques (citations, journal, h-index). Mais il ne couvre que 13/26 sous-critères (50% de couverture). Fidélité = 76% × 50% = 38% → arrondi 40%.
Le mode rapide reste utile pour orientation immédiate (palier proche dans 100% des cas, palier exact dans 52%). Mais pour décision clinique, le mode complet (PDF) reste la référence : 100% de couverture × 100% de concordance = Fidélité 100%.
Comment on mesure la Fidélité
Fidélité = Concordance × Couverture. Cette formule mesure à quel point un mode reproduit le scoring de référence (PDF complet), en tenant compte à la fois de la précision (concordance) et du périmètre analysé (couverture).
Décomposition
- Concordance = moyenne (palier strict + palier ±1) — % d'accord avec le scoring PDF de référence
- Couverture = nombre de sous-critères évaluables / 26 (total grille)
- Fidélité = produit des deux, exprimé en %
Calculs détaillés (3 modes)
- PDF complet (IA) — référence : 100% × 26/26 = 100%
- Abstract (IA) : 65% × 24/26 = 60%
- Métadonnées (Rapide) : 76% × 13/26 = 40%
Précisions sur la concordance
- Palier strict : % d'articles avec lettre identique (A/B/C/D/E)
- Palier ±1 : % d'articles à ≤1 palier d'écart (ex: B vs C, ou C vs D — proche mais pas exact)
- Concordance = (palier_strict + palier_±1) / 2
Corpus de mesure (distribution représentative)
Mesure réalisée sur un corpus de 50 articles thématiques équilibrés, reflétant la distribution naturelle de la science médicale ordinaire :
- ~10% d'articles excellents (palier A — études rares avec full transparency, pre-registration, open data)
- ~28% d'articles bons (palier B — design solide, COI gérables)
- ~18% d'articles médiocres (palier C — palier décisionnel)
- ~29% d'articles faibles (palier D — limites méthodologiques importantes)
- ~10% d'articles très faibles (palier E — peu exploitables)
Cette distribution est issue d'un modèle gaussien centré sur 50/100, qui reflète la science médicale ordinaire après filtrage peer-review. Mesurer la fidélité sur un corpus déséquilibré donnerait une estimation non-représentative de l'usage réel.
Données empiriques
Mesuré sur un corpus représentatif de 50 articles thématiques (COVID, Mental Health, Nutrition, Cardio, Onco, Infectious, MetaEpistemo, Genetics — distribution équilibrée des paliers A→E reflétant la science médicale ordinaire).
4 cas critiques de surévaluation en mode rapide
Ces 4 articles figurent parmi les plus consultés du corpus. Le mode rapide leur attribue un palier A ou B, alors que le mode Complet IA révèle un palier D.
| Article | ⚡ Rapide | 🔬 Partiel IA (abstract) | 🤖 Complet IA (PDF) | Écart R→C | Raison principale |
|---|---|---|---|---|---|
| Polack/Pfizer — NEJM 2020 | A | E | D | −51 pts | COI industriel majeur + délai éditorial court non capturé |
| Voysey/AZ — Lancet 2021 | B | D | D | −38 pts | COI AstraZeneca + design adaptatif + données non partagées |
| Hammond/Paxlovid — NEJM 2022 | B | E | D | −37 pts | Essai industrie seul + données brutes non disponibles |
| Molnupiravir — NEJM 2022 | B | D | D | −33 pts | Essai Merck/Ridgeback — données non publiques |
Pourquoi le mode rapide surévalue : il s'appuie uniquement sur les critères accessibles via des bases de données publiques. Le critère §2.3 (impact bibliométrique) pèse environ 10 points et est maximal pour les articles publiés dans NEJM/Lancet — or ces articles sont souvent des essais financés par l'industrie (Pfizer, AZ, Merck) dont les conflits d'intérêts importants ne sont visibles qu'à l'analyse approfondie du texte complet.
Quel mode choisir ?
| Contexte | Mode recommandé |
|---|---|
| Première exploration, veille | ⚡ Rapide |
| Décision clinique, citation, enseignement | 🤖 Complet IA (PDF) |
| PDF indisponible (NEJM, Lancet…) | 🔬 Partiel IA (abstract) |
| Apprentissage personnel, exploration méthodologique | 📝 Complet manuel |