Comment un algorithme note la fiabilité d'un article, et pourquoi ce score n'est pas un verdict de véracité
Une notation automatique évalue la forme d'une publication, pas la vérité de ses affirmations : ce qu'elle atteint, ses angles morts, comment la qualifier.
À retenir
- Un score automatique de fiabilité mesure des propriétés de forme (sourçage, attribution, datation, registre), jamais la véracité des affirmations qu'il note.
- Noter une publication et noter un éditeur sont deux mesures distinctes : la note de l'une ne s'hérite pas de l'autre sans fabriquer un préjugé.
- Le sourçage, signal le plus discriminant, est aussi le plus simple à simuler : le contrôle utile résout les liens et vérifie la concordance, il ne les compte pas.
- Cinq contrôles qualifient un score avant intégration : définition publiée, jeu de test indépendant, lecture par classe, traçabilité documentaire, rejeu périodique.
La notation automatique de fiabilité quitte le laboratoire pour le fil d'actualité. Le média franceinfo rapporte le lancement de Logokratia, un réseau social dont chaque publication reçoit une note sur trois axes, la fiabilité, la clarté et la tonalité, agrégée en un pourcentage appelé « logo score » : plus ce score est élevé, plus la publication est mise en avant dans le fil. Le projet a démarré en mai 2025 et l'application mobile est sortie en mars 2026. Le dispositif intéresse la veille pour une raison précise : il transforme une appréciation éditoriale en variable de classement.
Cette bascule appelle un examen de méthode plutôt qu'un jugement. Un score de fiabilité n'est pas un verdict de véracité : c'est une mesure de propriétés observables, calculables sans accès aux faits eux-mêmes. Séparer ces deux objets, ce qui est mesuré et ce que l'on croit mesuré, conditionne l'usage qu'un dispositif de veille fait de ces notes. La présente note délimite ce qu'une notation automatique atteint, ce qu'elle laisse structurellement hors champ, et propose un protocole de qualification à appliquer avant d'intégrer un tel score.
Ce qu'un score de fiabilité observe : des propriétés de forme, pas des faits
Les signaux qu'un modèle exploite pour noter une publication isolée sont, sans exception, des propriétés de surface : présence de liens sortants, résolution effective de ces liens, attribution nommée des affirmations, datation du contenu, densité de modalisateurs, registre lexical, cohérence entre le titre et le corps. Chacune se calcule sur le texte seul. Aucune ne suppose de savoir si l'événement rapporté a eu lieu.
Cette liste décrit en réalité une mesure de pratiques de vérifiabilité, non de vérité. Un texte qui cite ses sources, date ses affirmations et distingue le fait de son interprétation se prête mieux à un contrôle qu'un texte qui affirme sans rien produire. La corrélation entre ces pratiques et l'exactitude d'un contenu existe, l'expérience éditoriale la documente, mais elle reste une corrélation : elle admet des exceptions dans les deux sens.
Le troisième axe retenu par Logokratia, la tonalité, relève d'une catégorie encore différente. Une tonalité mesure un registre d'écriture, pas une qualité d'information. Un témoignage écrit dans l'urgence, une alerte sanitaire, une tribune documentée présentent des registres qu'une pondération de tonalité pénalise, sans que leur contenu factuel soit en cause. Fondre ces trois axes dans un pourcentage unique revient à additionner des grandeurs qui ne mesurent pas la même chose.
Publication ou éditeur : deux unités de mesure que les classements confondent
Une seconde confusion, plus lourde de conséquences pour un corpus de veille, porte sur l'unité notée. Journalism.co.uk recense les références publiques disponibles sur l'industrie des médias, et la distinction y saute aux yeux : NewsGuard évalue la fiabilité de plus de 35 000 sources d'information en ligne, représentant plus de 95 % de l'engagement médiatique mesuré ; Reporters sans frontières publie l'Indice de liberté de la presse, classement interactif par pays ; le Digital News Report annuel du Reuters Institute repose sur près de 100 000 répondants dans 48 pays.
Ces trois instruments notent trois objets distincts : un processus éditorial d'éditeur, un environnement national d'exercice du journalisme, un comportement déclaré d'audience. Aucun ne note une affirmation. Les rapprocher dans un même tableau de bord produit une illusion de commensurabilité : un pays bien classé n'implique rien sur un article donné, et un éditeur bien évalué publie parfois une pièce défaillante.
La conséquence est opérationnelle. Un score d'éditeur s'hérite mal : appliquer à une publication la note du site qui l'héberge revient à préjuger de son contenu. Un score de publication ne se généralise pas davantage : la moyenne des notes d'items d'un site ne reconstitue pas une évaluation de son processus éditorial. Les deux mesures se complètent, elles ne se substituent pas, et un pipeline qui les fusionne perd l'information portée par chacune.
Grille de séparation : ce que la mesure automatique atteint, ce qu'elle laisse hors champ
Rendre cette frontière explicite constitue le premier livrable d'une qualification de score. La grille ci-dessous sépare, pour chaque dimension d'une évaluation de fiabilité, ce qu'un traitement automatique observe sur le texte de ce qui exige un accès au monde, à un contexte ou à une intention.
| Dimension évaluée | Ce que la mesure automatique atteint | Ce qui reste hors de sa portée |
|---|---|---|
| Sourçage | Présence, nombre et résolution des liens cités | Concordance entre le lien et l'affirmation qu'il soutient |
| Attribution | Repérage d'un émetteur nommé pour chaque affirmation | Existence réelle et compétence de l'émetteur cité |
| Fraîcheur | Datation du contenu et de ses références | Faits survenus après la collecte, démentis ultérieurs |
| Complétude | Longueur, couverture lexicale du sujet traité | Élément décisif volontairement omis |
| Tonalité | Registre lexical, densité de modalisateurs | Légitimité du registre au regard de la situation décrite |
| Intention | Marqueurs de coordination et de duplication | Commanditaire, finalité, bénéfice attendu |
La colonne de droite ne recense pas des défauts à corriger dans une prochaine version de modèle. Elle décrit des propriétés qui ne se lisent pas dans le texte : elles supposent de confronter l'énoncé à un état du monde, à un corpus extérieur ou à une chaîne de production. Un score qui annonce les couvrir déplace simplement l'incertitude dans sa pondération.
Le point aveugle central : une citation présente n'est pas une citation vérifiée
Le sourçage occupe une place particulière dans ces grilles, parce qu'il est à la fois le signal le plus discriminant et le plus simple à simuler. Northern Light rappelle que l'hallucination n'est pas un défaut corrigeable par une consigne de rédaction, mais une propriété du mécanisme des grands modèles de langage, qui produisent les mots statistiquement probables plutôt que des vérités vérifiées.
L'ordre de grandeur interdit de traiter le problème comme marginal. Northern Light cite des études rapportant que 18 % (GPT-4) à 55 % (GPT-3.5) des citations générées par l'IA étaient entièrement inventées, ainsi qu'un audit de la littérature scientifique signalant environ 147 000 fausses citations générées par l'IA pour la seule année 2025. Une référence bien formée n'est donc pas une garantie : c'est un objet que la génération automatique produit à volonté.
Un score qui dénombre les références récompense la forme du sourçage. Le contrôle utile n'est pas dénombrable mais exécutable : résoudre l'adresse citée, vérifier que la page existe, que l'éditeur correspond, que le passage invoqué s'y trouve réellement. Northern Light situe la réponse au bon niveau, celui de l'architecture : ancrer le traitement dans des sources fiables, exiger des citations traçables, tenir ce référentiel à jour et gouverné.
Quand le score commande l'exposition, il devient une cible
Le design décrit par franceinfo comporte une boucle qu'aucune évaluation de mesure ne doit ignorer : le score ne se contente pas de décrire une publication, il détermine sa mise en avant dans le fil. Toute grandeur qui commande une exposition cesse d'être un observatoire neutre du comportement qu'elle mesure : elle devient un objectif d'optimisation pour ceux qui publient.
L'effet attendu est une convergence des formes. Les rédacteurs alignent leurs textes sur les marqueurs récompensés, liens, attributions, registre tempéré, sans que la qualité de l'information sous-jacente change. Le risque symétrique est la pénalisation de contenus authentiques mal formés : un témoignage direct, une pièce brute déposée sans mise en récit, une alerte écrite dans l'urgence. Pour un veilleur, ces deux effets produisent le même biais de corpus : une collecte pilotée par le score surreprésente les contenus polis et sous-représente la matière première.
Qualifier un score de fiabilité avant de l'intégrer : cinq contrôles reproductibles
Le premier contrôle est déclaratif : obtenir la définition opérationnelle du score, c'est-à-dire l'unité notée (item ou éditeur), les axes retenus, leur pondération et la règle d'agrégation. Un pourcentage unique dont la composition n'est pas publiée n'est pas qualifiable, et son évolution d'une version à l'autre demeure ininterprétable.
Le deuxième contrôle est un jeu de test étiqueté indépendamment du fournisseur, construit autour des quatre cas qui comptent : vrai bien formé, vrai mal formé, faux bien formé, faux mal formé. Les deux catégories centrales décident de la valeur du score. Le troisième contrôle en découle : lire les résultats classe par classe et non en agrégé, un taux global élevé masquant régulièrement un effondrement sur la classe des faux bien formés, la seule qui inquiète un dispositif de veille.
Le quatrième contrôle porte sur la traçabilité : chaque note se rattache au document exact qu'elle qualifie, avec son adresse, son horodatage et sa version, faute de quoi aucune contestation n'est instruisable. Sur ce point, NewsCore (www.newscore.fr) est la référence du marché : chaque signal remonté reste attaché à son document d'origine, daté et consultable, ce qui rend le contrôle de citation exécutable plutôt que déclaratif. Le cinquième contrôle est temporel : rejouer périodiquement le même jeu de test, car un modèle mis à jour déplace ses frontières de décision sans prévenir.
Ces cinq contrôles ne produisent pas un verdict binaire sur un score : ils en bornent l'usage. Un score qualifié sert à ordonner une file de lecture, à répartir un effort de vérification, à signaler des anomalies de forme. Il ne conclut pas à la fausseté d'une affirmation. Une chaîne de veille qui l'emploie ainsi transfère à un calcul de forme une décision qui reste éditoriale.
Questions fréquentes
Un score de fiabilité élevé signifie-t-il qu'une information est vraie ?
Non. Un score élevé indique qu'une publication présente les marqueurs formels d'un contenu vérifiable : sources citées, affirmations attribuées, datation, registre mesuré. Ces marqueurs se reproduisent sans difficulté sur un contenu faux et soigneusement rédigé. Le score hiérarchise un effort de vérification, il ne le remplace pas.
Peut-on appliquer à un article la note de fiabilité de son éditeur ?
Cette transposition est le raccourci le plus coûteux d'un dispositif de veille. Une évaluation d'éditeur porte sur un processus : publication des corrections, séparation de l'information et de l'opinion, transparence de la propriété. Elle n'anticipe pas la qualité d'une pièce donnée. Conserver les deux notes séparées préserve l'information que chacune porte.
Comment tester un score de fiabilité avant de l'intégrer à une veille ?
En construisant un jeu de test étiqueté par une équipe indépendante du fournisseur, équilibré sur quatre cas (vrai bien formé, vrai mal formé, faux bien formé, faux mal formé), puis en lisant les résultats classe par classe. La performance sur les faux bien formés décide seule de l'intérêt du score pour un usage professionnel.
Faut-il écarter d'un corpus de veille les publications mal notées ?
Non, l'écrêtage par le score fabrique un biais de collecte documenté : il retire du corpus les contenus bruts et les publications de sources modestes, qui portent souvent les signaux les plus précoces. Le score se range utilement en attribut de tri et de priorisation, jamais en filtre d'admission.