Vous collez un PMID dans Publi-Score. Le score se calcule. Mais en regardant le badge de mode, vous voyez : 🔬 Partiel IA (abstract).
L'article est dans le New England Journal of Medicine ou le Lancet— derrière un paywall. Publi-Score n'a pas eu accès au PDF. L'IA a travaillé uniquement sur l'abstract et les métadonnées publiques.
Question légitime : est-ce que ce score vaut quelque chose ?
Réponse courte : oui — avec une limite précise, documentée, et visible dans le score. Cet article explique exactement ce que l'IA peut et ne peut pas évaluer sans le PDF.
Ce que l'IA lit sans le PDF
Même sans accès au PDF, Publi-Score interroge plusieurs sources publiques avant d'appeler l'IA :
- PubMed — abstract complet, MeSH terms, statut de rétractation, type d'étude déclaré
- Crossref — DOI, date de soumission et d'acceptation, licence
- OpenAlex — citations, facteur d'impact, quartile, h-index des auteurs
- ClinicalTrials.gov / PROSPERO — existence et date de pré-enregistrement
- Semantic Scholar — PDF open access disponible ou non, citations influentes
- Retraction Watch — signal de rétractation indépendant de PubMed
L'IA (Claude Haiku pour l'extraction, Claude Sonnet pour le scoring) reçoit l'abstract complet et toutes ces métadonnées. Elle évalue chaque critère de la grille avec ce qu'elle a — en notant explicitement ce qu'elle ne peut pas conclure.
24 sous-critères sur 26 évalués
Sur les 26 sous-critères de la grille Publi-Score, le mode Partiel IA en évalue 24. L'abstract structuré contient bien plus d'information qu'il n'y paraît — méthodologie, taille d'effet, intervalles de confiance, design, conclusions des auteurs — et l'IA Sonnet extrait ces éléments avec ses justifications par sous-critère.
✓ §2.1 Niveau de preuve — couvert à ~90%
Type d'étude, randomisation, présence d'un groupe contrôle, taille d'échantillon — ces éléments sont souvent dans l'abstract ou récupérables via ClinicalTrials.gov.
✓ §2.3 Impact bibliométrique — couvert à 100%
Citations, facteur d'impact, h-index des auteurs — entièrement récupérés via APIs publiques. Pas besoin du PDF.
✓ §2.6 Fraîcheur & actualité — couvert à ~95%
Date de publication, délai soumission-acceptation — disponibles via Crossref.
✓ §2.2 Qualité méthodologique — couvert
Analyse statistique, gestion des biais, ITT, double aveugle, calcul de puissance — l'IA Sonnet extrait ces éléments de l'abstract structuré avec justifications, et reste prudente quand l'information manque.
✓ §2.5 Pertinence clinique — couvert
Rapport bénéfice/risque, recommandations pratiques, effets indésirables — extraits de la conclusion et de la discussion résumée.
✓ §2.7 Qualité rédactionnelle — couvert
Conformité aux guidelines de reporting (CONSORT, PRISMA…) et détection de spin — inférables depuis la structure et le langage de l'abstract.
Les 2 sous-critères que seul le PDF révèle
Deux sous-critères restent impossibles à évaluer sans le PDF— ce sont des éléments factuels qui ne sont jamais dans l'abstract :
§2.4 Partage des données brutes
Le partage des données nécessite d'examiner la section « Data Availability » du PDF et de vérifier l'existence du dépôt référencé (Zenodo, Dryad, OSF…). L'abstract ne mentionne presque jamais ces informations.
§2.4 Partage du code
Idem pour le code source des analyses — disponibilité GitHub/GitLab, licence, version utilisée. Information factuelle non présente dans l'abstract.
Ces 2 sous-critères restent à zéro en mode Partiel IA, sans pénalité pour l'article — c'est une absence d'information, pas un échec.
60% de Fidélité — données réelles sur corpus représentatif
Notre corpus de référence comprend 50 articles thématiques (COVID, Mental Health, Nutrition, Cardio, Onco, Infectious, Méta-épistémo, Genetics — distribution équilibrée des paliers A/B/C/D/E reflétant la science médicale ordinaire). 28 d'entre eux disposent d'une référence Complet IA (PDF) mesurable — les 22 autres sont des articles paywallés sans dépôt PMC ou avec abstract trop court. Sur ce sous-corpus paired (n=28), nous avons comparé chaque score Partiel IA au score Complet IA du même article. Mesure :
12.8 pts
∆ moyen absolu entre Partiel IA et Complet IA
12/28
articles au palier exact (A/B/C/D/E identique)
24/28
articles à un palier d'écart maximum
Lecture : le score Partiel IA donne le bon palier exact dans 43% des cas, le palier voisin (±1) dans 86% des cas. La concordance = moyenne des deux paliers = (43% + 86%) / 2 = 65%. La couverture = 24/26 sous-critères évaluables = 92%. La Fidélité = concordance × couverture = 65% × 92% = 60%.
Exemple — Moncrieff et al., Molecular Psychiatry 2022
Cette umbrella review remettant en question l'hypothèse sérotoninergique de la dépression obtient :
- Mode Complet IA (PDF) : 47/100 → palier C
- Mode Partiel IA (abstract) : 35/100 → palier D
Écart d'un palier (12 pts) — typique des umbrella reviews où l'abstract résume des dizaines de méta-analyses sans entrer dans le détail méthodologique de chacune. Le mode Partiel reste très utile pour orienter (palier proche) — pour décision clinique ou citation fine, le PDF reste la référence.
Mesure du 2026-04-28, corpus de distribution n=50, sous-corpus apparié n=28. Δ moyen signé = +11.8 pts, Δ moyen absolu = 12.8 pts.
Partiel IA ≠ score dégradé
La confusion vient du mot « partiel ». Il désigne la couverture de l'analyse, pas la qualité du score.
En mode Partiel IA, l'IA produit des justifications détaillées par critère, exactement comme en mode Complet IA : pour chaque sous-critère, elle explique pourquoi elle a attribué tel score, en citant les éléments de l'abstract ou des métadonnées qui ont guidé sa décision. Ce n'est pas une note globale approximative — c'est une analyse structurée, avec traçabilité complète.
Comparaison des deux modes IA
| 🔬 Partiel IA (abstract) | 🤖 Complet IA (PDF) | |
|---|---|---|
| Entrée | Abstract + métadonnées | PDF intégral + métadonnées |
| Couverture sous-critères | 92% (24/26) | 100% (26/26) |
| Fidélité (concordance × couverture) | 60% (65% × 24/26) | 100% (référence) |
| Justifications par critère | ✅ Oui | ✅ Oui |
| §2.4 Partage données/code | 2 sous-critères NA | Évalués |
| Activation | Automatique si PDF indisponible | PDF open access requis |
| Temps | ~30–60 sec | ~30–60 sec |
| Publié au catalogue | ✅ Oui | ✅ Oui |
Quand utiliser le mode Partiel IA ?
Ce mode s'active automatiquementquand Publi-Score ne trouve pas de PDF en open access. Vous n'avez rien à choisir — mais vous pouvez l'interpréter :
- Palier proche dans 86% des cas : le résultat est fiable pour orienter une lecture ou un tri bibliographique.
- Si vous avez accès au PDF via votre institution : vous pouvez uploader le PDF pour passer en mode Complet IA — le score sera recalculé sur 100% des critères.
- Pour une décision clinique ou une citation : préférez le mode Complet IA si le PDF est accessible. L'écart moyen de 12.8 pts reste à interpréter au cas par cas, et le partage des données brutes/du code (§2.4) n'est vérifiable qu'avec le PDF.
Le mode Partiel IA est un score complet sur ce qui est accessible — pas un score incomplet sur l'article. La limite est explicite, documentée, et visible dans chaque justification de critère. C'est cette transparence qui le distingue d'une notation opaque.
Analyser un article (avec ou sans PDF) →
Comprendre tous les modes de scoring : publi-score.ai/methodology/modes-scoring