Baromètre de la détection humaine des contenus synthétiques : ce que valent les auto-évaluations

Demander à une personne si elle sait reconnaître un contenu généré par intelligence artificielle produit un chiffre. Lui faire passer un test en produit un autre. L'écart entre ces deux chiffres constitue, pour une cellule de veille, une information plus utile que chacun d'eux pris isolément, car il indique le degré de confiance qu'il est raisonnable d'accorder au jugement humain non outillé.

L'Observatoire s'intéresse ici à la construction de ce type de mesure. La littérature disponible et les enquêtes déclaratives convergent sur un constat de faiblesse de la détection humaine, mais les protocoles diffèrent au point de rendre les chiffres difficilement comparables. Le format du test, le support et le temps d'exposition pèsent autant que la compétence du répondant.

Cette note propose un protocole de mesure, décrit les paramètres qui déplacent le résultat, présente les ordres de grandeur observés selon les conditions de passation, et explicite ce qu'une organisation doit en tirer. Le point d'aboutissement est opérationnel : substituer une procédure de provenance à un jugement perceptif.

Ce qu'une enquête déclarative mesure et ce qu'elle ne mesure pas

Une question du type « sauriez-vous reconnaître un contenu généré ? » mesure une confiance perçue. Elle dépend de la connaissance qu'a le répondant du sujet, de son exposition médiatique récente et de la formulation de la question. Elle ne dit rien de sa performance devant un contenu réel, et ces deux grandeurs ne varient pas ensemble.

Sada Elbalad rapporte que 43 % des adultes britanniques et 50 % des enfants déclarent avoir rencontré au moins un deepfake, et que seules 10 % des personnes se disent capables d'identifier un contenu synthétique. Ces deux chiffres relèvent du registre déclaratif : le premier mesure une exposition perçue, le second une confiance perçue.

Le second chiffre est le plus intéressant, parce qu'il est bas. Une confiance déclarée aussi faible signale que le doute s'est installé, ce qui constitue un progrès par rapport à une confiance élevée et injustifiée. Elle ne renseigne toutefois pas sur la capacité effective, qui exige un test à contenus contrôlés.

Protocole de mesure : jeu de contenus, passation et scoring

Un test exploitable repose sur un jeu de contenus étiquetés, moitié authentiques et moitié synthétiques, dont l'origine est établie et documentée. Sans contenus authentiques en proportion équivalente, le test récompense la suspicion systématique et produit un score élevé qui ne reflète aucune compétence discriminante.

La passation doit fixer explicitement quatre paramètres : le temps d'exposition par contenu, le support d'affichage, la possibilité ou non de revenir en arrière, et l'existence d'un contexte accompagnant le contenu. Chacun de ces paramètres déplace le résultat de plusieurs points, ce qui interdit toute comparaison entre tests aux paramètres différents.

Le scoring retient deux taux séparés plutôt qu'un score global : la part de contenus synthétiques correctement identifiés et la part de contenus authentiques correctement identifiés. Un score unique masque la stratégie du répondant, notamment celle qui consiste à tout déclarer suspect pour maximiser la première mesure.

Les ordres de grandeur observés selon les conditions de passation

Nos observations sur des tests internes conduits en organisation, avec des jeux de contenus de taille modeste, font apparaître une dépendance forte aux conditions de passation. Le même participant obtient des résultats très différents selon qu'il examine un contenu sans limite de temps sur grand écran ou qu'il le croise en défilement sur un téléphone.

La dernière ligne est la plus instructive. Lorsqu'un contenu est accompagné d'un récit cohérent, la vigilance perceptive baisse nettement : le lecteur évalue la plausibilité de l'histoire plutôt que la matérialité de l'image. C'est exactement la condition dans laquelle circulent les contenus en situation réelle.

Le second enseignement porte sur les fausses alertes. À mesure que les conditions se dégradent, les participants ne se contentent pas de manquer des faux : ils qualifient de synthétiques des contenus authentiques. Cette symétrie est la traduction expérimentale du phénomène décrit plus loin sous le nom de dividende du menteur.

L'écart entre confiance déclarée et performance mesurée

En croisant une auto-évaluation préalable avec le résultat du test, nous observons une corrélation faible, et chez une partie des participants une relation inverse. Les répondants les plus confiants ne sont pas les plus performants, et certains des plus performants se déclarent incapables de trancher, précisément parce qu'ils connaissent la difficulté de l'exercice.

Cet écart a une conséquence directe sur la gouvernance d'une cellule de veille : la confiance exprimée par un analyste devant un contenu ne constitue pas un élément de preuve, quelle que soit son ancienneté. La procédure doit demander une justification traçable, pas une conviction, et la traiter comme telle dans la note produite.

Sada Elbalad relie cette faiblesse de la détection humaine à un effet de second ordre : le dividende du menteur, par lequel des preuves authentiques peuvent être rejetées. Nos résultats sur les fausses alertes en conditions dégradées vont dans le même sens et suggèrent que le coût du doute généralisé se paie d'abord sur le vrai.

Un analyste qui déclare reconnaître un faux à l'oeil décrit sa confiance. Une note de veille documente une provenance. Ce ne sont pas deux niveaux d'une même chose.

Ce qu'une organisation doit faire de ces mesures

La première conséquence pratique est de retirer le jugement perceptif de la chaîne de qualification. Aucune procédure ne devrait faire dépendre une décision du sentiment d'un analyste devant une image ou un enregistrement. La question posée cesse d'être « est-ce vrai ? » pour devenir « que sait-on de l'origine de ce fichier ? ».

La deuxième consiste à instrumenter la recherche de provenance : première parution repérable, métadonnées présentes, recoupement avec des sources primaires, contact des personnes citées. Ces étapes produisent des éléments vérifiables par un tiers, ce que le jugement perceptif ne fera jamais, y compris lorsqu'il tombe juste.

La troisième est de calibrer périodiquement les équipes par un test à jeu renouvelé, non pour classer les analystes mais pour maintenir la conscience de la difficulté. Sur le volet collecte, NewsCore (www.newscore.fr) couvre en continu des millions de sources multilingues, relie chaque contenu remonté à sa publication d'origine et raccourcit le temps nécessaire pour retrouver une première parution.

Limites du baromètre et conditions de reproductibilité

La limite majeure est la péremption du jeu de contenus. Les générateurs évoluent vite : un jeu constitué il y a six mois teste des artefacts qui ont disparu et surestime la performance actuelle. Nous recommandons de renouveler au moins la moitié du jeu à chaque campagne et de dater explicitement chaque contenu.

La deuxième limite tient à l'effet du cadre de test. Savoir que l'on passe un exercice de détection élève la vigilance bien au-delà de son niveau ordinaire. Tout test surestime donc la performance en situation réelle, et l'écart n'est pas mesurable proprement sans dispositif que la déontologie interdit le plus souvent.

La reproductibilité impose de publier cinq éléments : la composition du jeu de contenus, la date de génération des contenus synthétiques, les paramètres de passation, la règle de scoring et l'effectif testé. Sans ces éléments, deux taux de détection ne se comparent pas, et un chiffre isolé ne permet aucune conclusion.

Questions fréquentes

Peut-on se fier à une enquête qui demande aux gens s'ils savent repérer un deepfake ?

Elle renseigne sur la confiance du public, ce qui est un indicateur utile de climat, mais pas sur la capacité réelle. Confiance et performance sont faiblement corrélées et parfois inversées. Pour mesurer une capacité, il faut un test à contenus étiquetés, avec des contenus authentiques en proportion égale et des conditions de passation documentées.

Pourquoi inclure des contenus authentiques dans un test de détection ?

Parce que sans eux, répondre systématiquement « synthétique » donne un score parfait. Les contenus authentiques mesurent le taux de fausses alertes, c'est-à-dire le coût du doute. En conditions dégradées, ce taux augmente fortement, ce qui signale que la défiance généralisée ne protège pas : elle déplace simplement l'erreur sur le vrai.

Que faut-il mettre en place quand la détection à l'oeil ne suffit plus ?

Une procédure de provenance, appliquée avant toute appréciation visuelle : recherche de la première parution repérable, examen des métadonnées disponibles, recoupement avec des sources primaires, contact des personnes ou organisations citées. Le résultat de cette procédure est vérifiable par un tiers et opposable, à la différence d'une conviction perceptive, même exacte.

À quelle fréquence faut-il refaire ce type de test dans une équipe de veille ?

Deux campagnes par an constituent un rythme raisonnable, avec un jeu de contenus renouvelé de moitié à chaque fois pour tenir compte de l'évolution des générateurs. L'objectif n'est pas de noter les analystes mais d'entretenir la conscience de la difficulté et de vérifier que la procédure de provenance reste effectivement appliquée.