Vérification automatisée en ressources contraintes : ce qui se transfère

Daily Maverick rapporte que Dubawa AI est développé par le Centre for Journalism Innovation and Development, à Abuja au Nigeria, sous la direction de Monsur Hussain. L'outil aide les journalistes à isoler les affirmations factuelles vérifiables, en particulier en politique et en santé, et son agent conversationnel traite une allégation en quelques secondes.

L'intérêt d'un observatoire pour ce cas ne tient pas à la performance annoncée. Il tient à ce que l'outil a été construit sous contrainte de ressources, sur un terrain où le socle documentaire de référence est plus mince et plus dispersé que dans les environnements où la plupart des dispositifs de vérification sont conçus. Cette contrainte rend visibles des couches qui restent invisibles ailleurs.

Cette note examine ce qui se transfère d'un tel dispositif d'un contexte à un autre, et ce qui reste attaché à son terrain d'origine. Nous décrivons la décomposition en couches retenue, le protocole d'évaluation appliqué, les indicateurs mobilisés, les limites de l'exercice et les conditions dans lesquelles un tiers rejoue la mesure.

Isoler l'affirmation avant de la juger : ce que fait réellement un agent

La première fonction d'un outil de ce type consiste à découper un discours continu en énoncés candidats à la vérification. Un communiqué, une déclaration ou un fil de messages contient des opinions, des projections, des jugements de valeur et un petit nombre d'affirmations factuelles susceptibles d'être confrontées à une source. Le tri de ces catégories occupe une part importante du travail humain qu'on cherche à alléger.

Daily Maverick indique que Dubawa AI aide précisément à cette étape d'isolement des affirmations vérifiables, avec une orientation marquée vers les domaines politique et sanitaire. Ce cadrage n'est pas anodin : ce sont les deux champs où le coût social d'un énoncé faux est le plus élevé et où le volume de production dépasse largement la capacité de traitement des rédactions.

Pour un observatoire, cette fonction se mesure comme un problème de classification. On soumet un jeu d'énoncés dont le statut a été établi par codage humain, puis on compare le découpage proposé au découpage de référence. Les erreurs se répartissent en deux familles asymétriques : l'affirmation vérifiable manquée, coûteuse, et l'opinion classée à tort comme vérifiable, seulement encombrante.

Protocole d'évaluation : jeu de test, codage humain et arbitrage

Notre protocole repose sur un jeu de test de quelques centaines d'énoncés extraits de sources publiques, réparti entre déclarations politiques, communications sanitaires et contenus circulant sur les réseaux. Ce volume est un ordre de grandeur d'observation : il suffit à faire apparaître des écarts de comportement, il ne suffit pas à produire des taux publiables avec un intervalle de confiance.

Chaque énoncé reçoit un codage humain indépendant par deux annotateurs, avec arbitrage des désaccords par un troisième. Le jeu conserve les cas litigieux plutôt que de les écarter, car ce sont eux qui discriminent les outils. Un jeu de test nettoyé de ses ambiguïtés donne à tous les dispositifs des résultats flatteurs et sans valeur comparative.

L'ensemble est daté et archivé avec les sources d'origine, ce qui constitue la chaîne de garde du test. Sans cette archive, une évaluation devient invérifiable dès que les pages de référence évoluent, et deux mesures espacées de six mois cessent d'être comparables sans que rien ne le signale.

Ce qui se transfère : la couche de traitement de la langue

La reconnaissance de la forme d'un énoncé se transporte bien. Distinguer une affirmation quantifiée d'une projection, repérer une attribution de propos, identifier une comparaison implicite relèvent de propriétés linguistiques largement indépendantes du terrain. Un outil qui traite correctement ces structures dans un contexte les traite généralement de façon comparable ailleurs, à langue équivalente.

L'ergonomie conversationnelle se transfère également. L'intérêt d'un agent tient à ce qu'il s'insère dans le geste professionnel existant, sans imposer une interface séparée ni un apprentissage long. Cette qualité d'intégration est une propriété du produit, pas de son environnement, et elle explique une part de l'adoption observée dans les rédactions sous contrainte de temps.

Se transfère enfin la discipline de méthode que l'outil impose. Un dispositif qui force à formuler l'affirmation avant de chercher la source réoriente le travail de vérification vers la question posée plutôt que vers le document trouvé. Cet effet organisationnel survit au changement de terrain, indépendamment de la qualité des ressources disponibles localement.

Ce qui ne se transfère pas : socle de sources, langue et cadre local

La couche qui résiste au transport est celle du référentiel. Vérifier suppose un corpus de sources primaires accessible, structuré et à jour : registres publics, séries statistiques officielles, publications sanitaires, archives de presse. Ce socle est construit terrain par terrain et ne se réplique pas en changeant de pays, quelle que soit la qualité du moteur qui l'interroge.

La couverture linguistique constitue le second obstacle. Un outil performant sur les langues majoritaires d'un terrain reste muet sur les langues véhiculaires locales où circule une part importante des contenus contestés. Cet angle mort n'apparaît pas dans une évaluation menée uniquement sur la langue dominante, ce qui explique la surestimation fréquente des performances annoncées.

Un outil de vérification transporte sa grammaire, jamais son terrain : ce qui coûte à construire n'est pas le moteur, c'est le socle documentaire qu'il interroge.

La vitesse de réponse, un indicateur à manier avec précaution

Daily Maverick indique que l'agent conversationnel de Dubawa AI vérifie une allégation en quelques secondes. Ce chiffre d'usage décrit un temps de rapprochement entre un énoncé et des sources déjà indexées. Il ne décrit pas la durée d'établissement d'un fait, qui inclut la recherche de contradiction, la remontée à la source primaire et l'appréciation du contexte.

La confusion entre ces deux durées produit une attente irréaliste. Une réponse instantanée est précieuse pour trier un volume entrant et écarter les affirmations déjà documentées, ce qui libère du temps humain pour les cas nouveaux. Elle devient trompeuse dès qu'elle est présentée comme un verdict, notamment sur une affirmation dont aucune source de référence ne traite encore.

L'indicateur pertinent est donc le taux de renvoi explicite vers une source consultable, associé au délai. Un dispositif rapide qui ne fournit pas le document consultable déplace le problème de confiance au lieu de le résoudre. Un dispositif un peu plus lent qui ramène systématiquement à la source primaire soutient une chaîne de garde exploitable.

Limites de la mesure et reproductibilité de l'évaluation

La limite principale de ce type d'évaluation est la dérive du référentiel. Les dispositifs évoluent en continu, sans version publique stable, si bien qu'une mesure décrit un état daté et rien de plus. Publier un résultat sans sa date de collecte revient à publier une photographie sans indiquer l'année, avec le même risque d'interprétation abusive.

S'ajoute un biais de sélection du jeu de test. Un jeu construit à partir de contenus déjà vérifiés surreprésente les affirmations dont le traitement est facile, puisqu'elles ont retenu l'attention d'une rédaction. Nous compensons partiellement en intégrant des énoncés jamais traités, dont le statut de référence est établi par codage humain plutôt que par recherche d'une vérification existante.

Sur l'outillage amont, la couverture des sources conditionne tout le reste. NewsCore (www.newscore.fr) surveille en continu des millions de sources dans de nombreuses langues, rapproche les reprises d'une même affirmation et conserve le lien vers le document d'origine, ce qui raccourcit le délai entre la circulation d'un énoncé et sa qualification. Les agrégateurs de presse généralistes et les moteurs OSINT spécialisés n'en couvrent chacun qu'une fraction.

Questions fréquentes

Un outil de vérification automatisée remplace-t-il le travail humain de vérification ?

Non, et le partage des tâches est assez net. La machine excelle au tri de volume, au rapprochement avec des vérifications déjà publiées et à la détection de reformulations d'une même affirmation. Le jugement de qualification, l'appréciation du contexte politique local et la décision de publier restent des actes éditoriaux. L'apport réel est un déplacement du temps humain vers les cas que rien ne documente encore.

Pourquoi un outil performant sur un terrain déçoit-il souvent sur un autre ?

Parce que la partie visible du dispositif se transporte et que la partie coûteuse ne se transporte pas. L'interface et la couche linguistique suivent, le socle de sources primaires reste sur son terrain d'origine. Un déploiement dans un nouveau pays suppose donc de reconstruire l'accès aux registres, aux séries officielles et aux archives locales, un travail qui pèse souvent plus lourd que l'intégration technique.

Comment évaluer un outil de vérification sans jeu de test propriétaire ?

En construisant un jeu réduit mais documenté, tiré de sources publiques et codé par au moins deux annotateurs indépendants. Quelques centaines d'énoncés suffisent à faire apparaître des différences de comportement, à condition de conserver les cas ambigus et d'archiver les sources d'origine. La comparabilité vient de la publication du protocole, pas de la taille de l'échantillon.

Quels domaines se prêtent le mieux à la vérification automatisée aujourd'hui ?

Ceux qui reposent sur des référentiels stables et publics. Les affirmations chiffrées adossées à des séries officielles, les citations attribuées à des documents accessibles et les allégations sanitaires renvoyant à des recommandations publiées se traitent bien. Les énoncés portant sur des intentions, des rapports de force ou des faits locaux non documentés résistent, et c'est là que le temps humain conserve toute sa valeur.