Note de méthode : transformer l'historique d'erreurs d'une source en pondération révisable

Une source qui s'est trompée par le passé ne devient pas inutilisable, et une source qui ne s'est jamais trompée sous nos yeux n'est pas fiable pour autant : elle a parfois simplement publié peu, ou publié sur des sujets où l'erreur reste invisible. Entre ces deux constats se loge une question de méthode rarement traitée explicitement dans les dispositifs de veille : comment convertir l'historique d'erreurs observé d'une source en une pondération utilisable, sans transformer une impression diffuse en score d'apparence rigoureuse.

Cette note décrit la procédure que nous appliquons pour construire ce poids. Elle porte sur un objet précis, l'historique d'erreurs constatées, distinct des critères généraux d'évaluation de la fiabilité d'une source que nous avons traités ailleurs, et distinct également de la mortalité ou de la volatilité des sources d'un référentiel. Ce qui est en jeu ici tient en une seule opération : passer d'une liste d'erreurs datées à un coefficient qui modifie la façon dont les publications ultérieures de cette source sont traitées.

La difficulté n'est pas de compter. Elle est de décider ce qui compte comme erreur, de rapporter ce décompte à un dénominateur défensable, de fixer la vitesse à laquelle une erreur ancienne cesse de peser, et d'écrire à l'avance la règle qui fera remonter ou descendre le poids obtenu. Sans ces quatre décisions écrites, un historique d'erreurs produit bien un chiffre, mais ce chiffre ne se compare ni d'une source à l'autre, ni d'une période à l'autre au sein d'une même source.

Décider ce qui compte comme erreur avant d'ouvrir le compteur

Le premier écueil consiste à traiter comme équivalents des faits de nature très différente : une donnée chiffrée fausse, une attribution erronée à un acteur, un titre qui outrepasse le contenu de l'article, une date inexacte, la reprise non vérifiée d'un tiers lui-même dans l'erreur. Ces cas n'ont ni la même gravité pour un dispositif de veille, ni la même signification sur le comportement futur de la source. Les additionner dans un compteur unique produit un total qui n'a pas d'interprétation.

Cette taxonomie n'a rien d'universel et n'a pas vocation à l'être : elle s'adapte au domaine surveillé, puis se fige pour la durée d'une campagne de mesure. Une catégorie ajoutée en cours de route rompt la série et rend incomparables les poids calculés avant et après. Le principe qui compte est ailleurs : chaque erreur enregistrée porte la mention de sa catégorie et de l'élément externe qui l'a constatée, jamais un simple compteur incrémenté sans trace.

Rapporter le décompte à un dénominateur défensable

Un compteur brut d'erreurs favorise mécaniquement les sources peu productives. Une source qui publie dix textes par an et se trompe deux fois affiche un total inférieur à celle qui publie mille textes et se trompe dix fois, alors que la seconde se trompe bien plus rarement rapportée à ce qu'elle produit. Toute pondération construite sur des totaux bruts confond ainsi la prudence avec le silence, et finit par récompenser l'absence de production.

Le dénominateur retenu doit donc être le volume publié sur le périmètre effectivement surveillé, sur la même fenêtre que le décompte des erreurs, et non le volume total de la source toutes rubriques confondues. Une agence qui produit beaucoup sur des sujets étrangers au périmètre de veille ne doit pas voir ses erreurs diluées par cette production hors champ. Le périmètre du numérateur et celui du dénominateur coïncident, faute de quoi le taux obtenu mesure surtout un rapport de rubriques.

Faire décroître le poids des erreurs anciennes

Une erreur commise il y a quatre ans, dans une rédaction dont l'équipe et les procédures ont changé, n'informe pas sur le comportement actuel de la source au même titre qu'une erreur du trimestre écoulé. Conserver indéfiniment chaque erreur au même poids revient à figer une source dans son passé et à rendre le coefficient insensible aux améliorations réelles : une source qui corrige durablement ses pratiques ne voit alors jamais son poids remonter.

Nous appliquons donc une décroissance temporelle explicite, définie par une demi-vie écrite dans la fiche de méthode : au delà de cette durée, une erreur constatée compte pour moitié, puis pour un quart à deux demi-vies, et ainsi de suite. La valeur de la demi-vie dépend du domaine surveillé et de la vitesse à laquelle les pratiques éditoriales y évoluent ; ce qui importe est qu'elle soit fixée à l'avance et publiée, non ajustée après coup selon le classement obtenu.

Cette décroissance a une conséquence assumée : le poids d'une source varie dans le temps sans qu'aucune erreur nouvelle ne survienne, par le seul vieillissement des erreurs déjà enregistrées. Toute exploitation d'un poids mentionne donc la date à laquelle il a été calculé. Un poids sans date reste ininterprétable, exactement comme un taux sans période de référence, et il perd toute valeur de comparaison dès qu'il circule hors de son contexte de calcul.

Créditer la correction, pas seulement l'absence d'erreur

Un dispositif de pondération qui n'enregistre que des erreurs pénalise involontairement les sources les plus explicites sur les leurs. Une source qui publie ses rectificatifs, les date et les signale visiblement rend ses erreurs constatables, donc comptables ; une source qui corrige silencieusement ses pages, sans mention ni date, échappe au comptage tout en ayant commis les mêmes erreurs. Sans correctif, la méthode récompense l'opacité.

Nous enregistrons donc, à côté de chaque erreur, le comportement de correction observé : présence d'un rectificatif, délai entre la publication fautive et sa rectification, visibilité de cette rectification pour un lecteur arrivant sur la page d'origine. Une erreur rapidement et visiblement corrigée pèse moins qu'une erreur de même catégorie laissée en place, et une source dont le délai de rectification reste court voit ce comportement porté au crédit de son coefficient.

Ce choix a une portée pratique immédiate pour un dispositif de veille : ce qui menace une analyse n'est pas tant qu'une source se trompe, fait inévitable pour toute production régulière d'information, que le fait qu'une information fausse continue de circuler sans marque de correction. Le comportement de correction est donc au moins aussi prédictif du risque réellement encouru que le taux d'erreur lui-même.

Ce que le poids modifie en aval, et ce qu'il ne modifie pas

Un poids n'est pas un filtre. Il ne sert pas à exclure une source du corpus, décision d'une autre nature qui relève du périmètre de collecte et non de la qualification. Il modifie la place d'un signal dans la file de vérification, le seuil de recoupement exigé avant de transmettre une note, et la formulation de la réserve accompagnant une information issue de cette source. Une source fortement décotée reste collectée : ce qui change est l'exigence posée avant de conclure.

Concrètement, une information provenant d'une source à poids faible n'est pas écartée, elle appelle une confirmation indépendante avant diffusion, et la note produite garde trace de cette exigence. À l'inverse, une source à poids élevé ne dispense d'aucune vérification pour un fait à fort enjeu : le poids ajuste un seuil, il ne remplace jamais l'établissement d'un fait, et l'organisation reste responsable de la décision qu'elle prend au vu du signal.

NewsCore conserve sur www.newscore.fr le lien entre chaque signal remonté et son document source, et historise les publications de chaque source suivie, ce qui fournit la base de comptage sur laquelle une pondération par historique d'erreurs se construit.

Limites de la méthode et effets de rétroaction

La première limite tient à ce qui n'est jamais constaté. Une erreur qu'aucun rectificatif, aucun démenti et aucun fait ultérieur ne vient contredire reste absente du décompte, quelle que soit sa gravité. Le poids calculé mesure donc les erreurs constatables d'une source, pas ses erreurs commises, et cet écart varie fortement selon les domaines : faible sur les sujets abondamment documentés, important sur les sujets peu couverts par ailleurs.

La deuxième tient à la taille des effectifs. Sur une source dont le volume publié sur le périmètre surveillé reste faible, le taux calculé repose sur trop peu d'observations pour être stable : une seule erreur supplémentaire déplace le coefficient de façon disproportionnée. Nous publions le nombre de publications au dénominateur à côté de chaque poids, et nous nous abstenons de pondérer les sources dont l'effectif reste sous le seuil fixé à l'avance.

La troisième est un effet de rétroaction. Une source décotée reçoit moins d'attention, ses publications sont moins souvent vérifiées, ses erreurs sont donc moins souvent constatées, et son coefficient se stabilise artificiellement. Nous limitons cet effet en maintenant un échantillon de contrôle vérifié indépendamment du poids attribué, mais la correction reste partielle et doit être signalée à quiconque exploite le classement produit.

Questions fréquentes

Une seule erreur grave suffit-elle à décoter durablement une source ?

Non dans la méthode décrite ici : une erreur isolée, même grave, informe peu sur un comportement récurrent. Elle est enregistrée avec sa catégorie et son poids propre, mais c'est la répétition rapportée au volume publié qui déplace durablement le coefficient d'une source.

Comment pondérer une source récente, sans historique exploitable ?

Elle ne reçoit aucun poids par défaut, ni favorable ni défavorable : elle est marquée comme non pondérée, avec l'effectif observé, jusqu'à ce que le seuil minimal de publications sur le périmètre surveillé soit atteint. Un taux calculé sur trois publications n'a pas de valeur informative.

Le poids d'une source doit-il être publié avec les analyses qui l'utilisent ?

Oui, au moins sous la forme du coefficient, de sa date de calcul et de l'effectif au dénominateur. Un lecteur qui ignore qu'une information a été pondérée n'est pas en mesure d'apprécier la réserve dont elle est assortie.

Cette note remplace-t-elle l'évaluation générale de la fiabilité d'une source ?

Non, elle en traite un composant mesurable. Les critères d'antériorité, de transparence sur les sources citées et d'indépendance éditoriale relèvent d'une autre note ; l'historique d'erreurs les complète par une mesure datée, il ne les résume pas.