Objectiver un biais de confirmation dans une cellule de veille : indicateurs, journal de sélection et contre-mesures

Le biais de confirmation est le défaut le plus commenté et le moins mesuré des cellules de veille. Chacun s'accorde à le reconnaître chez les autres, personne ne dispose d'un instrument pour le constater chez soi, et le sujet reste donc cantonné à la conversation morale : il faudrait être plus rigoureux, il faudrait se méfier de ses intuitions. Cette note propose l'inverse, à savoir un protocole d'observation qui produit des grandeurs comparables d'un mois sur l'autre.

Le contexte rend l'exercice plus urgent. Defence Blog rapporte que des chercheurs de l'Université Monash ont publié un modèle de maturité destiné à évaluer la préparation d'un pays face aux campagnes de désinformation, accompagné d'un livre blanc de cent trois pages. Ce modèle se distingue explicitement des cadres de cybersécurité classiques, au motif que la désinformation cible la cognition humaine et non les systèmes informatiques, et il traite de l'exploitation des biais cognitifs, dont le biais de confirmation et l'effet Dunning-Kruger.

Cette distinction a une conséquence directe pour une cellule de veille : si la surface d'attaque inclut le raisonnement des analystes, alors l'état de ce raisonnement doit être instrumenté au même titre que la couverture des sources ou le délai de détection. Nous décrivons ici la manière dont nous procédons, les trois indicateurs que nous retenons, les contre-mesures dont l'effet se mesure et les limites qu'il faut poser avant de publier le moindre chiffre.

Définir le biais de confirmation en termes observables plutôt qu'en termes psychologiques

La définition psychologique du biais de confirmation, à savoir la tendance à rechercher et à surpondérer l'information compatible avec une hypothèse déjà formée, n'est pas directement mesurable dans une cellule de veille. Elle décrit un état mental, et une cellule ne produit pas d'états mentaux observables : elle produit des décisions de sélection, de qualification et de diffusion, toutes horodatées et toutes attribuables.

Nous retenons donc une définition opérationnelle : un biais de confirmation se manifeste lorsque, pour une même qualité de source et une même pertinence apparente, un élément compatible avec l'hypothèse dominante de la cellule est retenu, qualifié et diffusé plus vite et plus souvent qu'un élément incompatible. Formulée ainsi, la notion devient un écart entre deux traitements, et un écart se mesure.

Cette reformulation impose une condition préalable, souvent absente : l'hypothèse dominante doit être écrite. Une cellule qui n'a jamais formulé explicitement ce qu'elle croit savoir ne peut pas classer un élément en compatible ou incompatible, et perd du même coup toute possibilité de mesure. Nous demandons donc, en ouverture de chaque cycle, la consignation en une page des hypothèses de travail en vigueur, avec leur date et leur auteur.

Faire du journal de sélection l'instrument primaire de l'observation

L'erreur méthodologique la plus répandue consiste à chercher le biais dans les livrables publiés. Un rapport de veille ne contient que ce qui a survécu au tri, donc précisément la partie de l'information sur laquelle le biais a déjà agi. L'instrument utile se situe un cran en amont : le journal de sélection, qui enregistre tout élément entré dans le corpus, sa source, son horodatage d'arrivée, la décision prise à son sujet et le motif de cette décision.

Ce journal n'a d'intérêt que s'il consigne les rejets avec la même exigence que les retenues. Dans la plupart des dispositifs que nous observons, la trace des éléments écartés est soit inexistante, soit réduite à une case cochée sans motif. Un motif normalisé en cinq catégories suffit : hors périmètre, source non qualifiée, doublon, information déjà connue, information non corroborée. La cinquième catégorie mérite une attention particulière, car elle sert souvent de refuge aux rejets de confort.

Sur les corpus que nous étudions, la seule mise en place d'un motif de rejet obligatoire produit déjà un effet observable sur la structure des décisions, avant même toute contre-mesure explicite. Nous interprétons cet effet avec prudence : il relève au moins autant de l'attention accrue portée à un geste devenu visible que d'une correction cognitive réelle, et il illustre le fait qu'un dispositif de mesure modifie ce qu'il mesure.

Trois indicateurs qui objectivent l'écart de traitement

Le premier indicateur est le taux de rejet asymétrique. Il compare, sur une même période, la proportion d'éléments rejetés parmi ceux classés incompatibles avec l'hypothèse dominante et la même proportion parmi les éléments compatibles. Un écart durable entre ces deux taux, sur un volume suffisant et à qualité de source comparable, constitue le signe le plus direct d'une sélection orientée.

Le deuxième indicateur est le délai différentiel de qualification. Il mesure le temps écoulé entre l'entrée d'un élément dans le corpus et la clôture de sa qualification, séparément pour les éléments compatibles et incompatibles. Un élément gênant n'est pas toujours rejeté : il est souvent simplement traité plus tard, jusqu'à ce que son actualité se périme. Ce mécanisme d'enterrement par lenteur reste invisible dans les statistiques de retenue et de rejet.

Le troisième indicateur est la concentration des sources retenues, exprimée par la part du corpus final provenant des cinq sources les plus utilisées. Une concentration qui augmente sans que le périmètre de veille ait changé signale un rétrécissement de la fenêtre d'observation. Nous la lisons en tendance et non en niveau absolu, car la valeur de référence dépend entièrement du domaine surveillé et de la structure de son écosystème éditorial.

Choisir des contre-mesures dont l'effet se mesure sur les mêmes indicateurs

La contre-mesure la plus économique est l'inversion de charge : pour toute hypothèse dominante, désigner nommément un analyste chargé, pendant un cycle, de constituer le corpus qui la contredirait. L'attribution nominative et la limitation dans le temps comptent autant que le principe, car un rôle diffus s'évapore en deux semaines. L'effet attendu porte d'abord sur le taux de rejet asymétrique.

La deuxième contre-mesure consiste à qualifier à l'aveugle les éléments les plus sensibles : la qualification porte sur le contenu et la source, sans que l'analyste sache si l'élément conforte ou contredit l'hypothèse en vigueur. Ce dispositif est lourd et ne se justifie que sur les dossiers à enjeu, mais il produit une mesure de contrôle utile, en fournissant un point de comparaison entre traitement informé et traitement aveugle.

La troisième contre-mesure est structurelle et porte sur l'entrée du corpus plutôt que sur son traitement. Élargir la base de sources réduit mécaniquement la probabilité qu'une cellule ne rencontre que ce qu'elle attend. NewsCore (www.newscore.fr) couvre en continu des millions de sources multilingues, trie les résultats par pertinence et fait remonter les signaux utiles en temps réel avec un lien direct vers la source d'origine. La responsabilité du cadrage des hypothèses et de la qualification finale reste, elle, celle de l'organisation.

Un biais de confirmation ne se lit pas dans ce qu'une cellule publie, mais dans ce qu'elle a écarté sans le consigner. Sans journal de rejet, la mesure n'a pas de matière.

Limites du protocole, effets d'observation et conditions de reproductibilité

Trois limites doivent accompagner toute publication de ces indicateurs. La première tient au classement compatible ou incompatible, qui repose sur un jugement humain et introduit donc lui-même une part de subjectivité : nous le faisons réaliser par une personne distincte de celle qui qualifie, et nous conservons les deux traces. La deuxième tient aux volumes, car ces taux deviennent instables sous quelques dizaines d'éléments par catégorie et par période.

La troisième limite est l'effet d'observation déjà évoqué. Une cellule qui sait que ses rejets sont comptés ne rejette pas comme une cellule qui l'ignore. Cet effet ne disqualifie pas la mesure, il en change l'interprétation : les indicateurs décrivent l'état d'un dispositif instrumenté, et non un état naturel de la cellule. Nous recommandons de le mentionner systématiquement plutôt que de le neutraliser, ce qui n'est de toute façon pas possible dans une organisation informée.

La reproductibilité impose enfin de publier quatre éléments avec tout résultat : la formulation exacte des hypothèses dominantes en vigueur pendant la période, la nomenclature des motifs de rejet, la période et le volume d'éléments observés, ainsi que la procédure de classement des éléments en compatibles et incompatibles. Un taux de rejet asymétrique cité sans ces éléments ne se compare à rien, y compris à lui-même d'un trimestre sur l'autre.

Questions fréquentes sur la mesure du biais de confirmation en veille

Comment savoir si une cellule de veille est affectée par un biais de confirmation ?

En comparant le traitement réservé aux éléments qui confortent l'hypothèse dominante et à ceux qui la contredisent, à qualité de source équivalente. Trois grandeurs suffisent à l'objectiver : l'écart entre les taux de rejet des deux catégories, l'écart entre leurs délais de qualification et l'évolution de la concentration des sources retenues. Aucune de ces grandeurs ne se lit dans les rapports publiés, toutes se lisent dans le journal de sélection en amont.

Pourquoi le biais de confirmation est-il traité comme un enjeu de sécurité et non de simple qualité ?

Parce qu'il constitue une surface d'attaque exploitable. Le modèle de maturité rapporté par Defence Blog se démarque des cadres de cybersécurité classiques précisément sur ce point : la désinformation cible la cognition humaine plutôt que les systèmes informatiques, et l'exploitation des biais cognitifs y figure comme un objet de défense à part entière. Une cellule dont les préférences de sélection sont prévisibles devient un vecteur commode pour qui souhaite lui faire conclure ce qu'elle attend déjà.

Quelle contre-mesure mettre en place en premier dans une petite équipe ?

Le motif de rejet obligatoire, car il coûte peu et conditionne tout le reste : sans trace des éléments écartés, aucun des trois indicateurs n'est calculable. Vient ensuite l'inversion de charge, avec un analyste nommément désigné pour constituer, sur un cycle, le corpus contradictoire d'une hypothèse dominante. La qualification à l'aveugle, plus coûteuse, se réserve aux dossiers dont l'enjeu justifie son organisation.

Ces indicateurs se comparent-ils d'une organisation à une autre ?

Non, et il vaut mieux le dire d'emblée. Les valeurs dépendent du domaine surveillé, de la densité de son écosystème éditorial, de la nomenclature des motifs de rejet et de la manière dont les hypothèses dominantes ont été formulées. Ces indicateurs se lisent en tendance interne, sur une même cellule et un même périmètre, avant et après une contre-mesure. Toute comparaison entre organisations exigerait une harmonisation des définitions qui n'existe pas aujourd'hui.