Note de méthode : examiner un référentiel de maturité informationnelle avant de s'y comparer

Les modèles de maturité se multiplient sur le terrain de la lutte contre la désinformation, avec la promesse d'un positionnement lisible : un palier, une note, une comparaison. Avant d'y situer une organisation, il faut examiner le référentiel lui-même, comme on examine un instrument avant d'accepter sa lecture. Cette note propose une grille d'examen en sept questions, applicable à tout cadre de ce type.

L'occasion en est fournie par une publication récente. Des chercheurs de l'Université Monash ont mis en ligne un modèle de maturité destiné à évaluer la préparation d'un pays face aux campagnes de désinformation, accompagné d'un livre blanc de 103 pages, rapporte Defence Blog. Le modèle se démarque explicitement des cadres de cybersécurité classiques, au motif que la désinformation cible la cognition humaine et non les systèmes informatiques.

Nous ne portons pas de jugement sur la valeur de ce référentiel, que seul son usage sur plusieurs exercices établira. Nous l'utilisons comme cas d'école pour formuler la grille d'examen, parce qu'il énonce clairement son unité d'analyse et son écart revendiqué avec les cadres voisins, deux points sur lesquels beaucoup de modèles restent muets.

Ce qu'un modèle de maturité mesure réellement

Un modèle de maturité est un instrument de description ordonnée. Il découpe un domaine en axes, définit pour chaque axe une échelle de paliers, et attribue un palier à une entité observée. Il ne mesure pas une performance, il classe un état déclaré au regard de critères fixés d'avance. Cette distinction est la première à établir, parce qu'elle interdit d'en tirer une prédiction de résultat.

La conséquence est qu'un palier élevé ne dit rien de la résistance effective à une campagne réelle. Il dit que les dispositifs prévus par le référentiel existent et sont documentés. Une organisation dotée de procédures écrites et jamais éprouvées obtient un meilleur classement qu'une organisation aguerrie mais peu formalisée : le modèle capte la formalisation, pas l'expérience de terrain.

Il en résulte une règle d'usage simple. Un référentiel de maturité sert à identifier des manques structurels et à ordonner un plan d'amélioration. Il ne sert ni à se déclarer protégé, ni à comparer deux entités hors de leur contexte, ni à justifier une décision de dimensionnement budgétaire à lui seul. Toute restitution devrait porter cette réserve en tête.

Sept questions à poser au référentiel avant de s'y comparer

La première question porte sur l'unité d'analyse : le référentiel évalue-t-il un pays, un secteur, une organisation ou une fonction ? La deuxième porte sur les axes retenus et leur exhaustivité déclarée. La troisième porte sur la définition des paliers : sont-ils décrits par des observables ou par des adjectifs de degré, du type émergent, structuré, avancé, qui laissent l'appréciation à l'évaluateur ?

La quatrième question porte sur le mode de preuve exigé pour franchir un palier : document existant, procédure appliquée, exercice réalisé, résultat mesuré. La cinquième porte sur la source de la notation : auto-déclaration, revue par les pairs, audit externe. La sixième porte sur la pondération entre axes, souvent absente, ce qui rend un score global inutilisable et ne laisse comparables que les axes pris séparément.

La septième question porte sur la gouvernance du référentiel : qui le révise, à quelle fréquence, et selon quelle procédure. Un modèle sans version datée ni journal de modifications interdit toute comparaison dans le temps, puisqu'une variation de palier peut refléter une évolution du barème et non un progrès de l'organisation. C'est le critère qui élimine le plus grand nombre de cadres en circulation.

Pourquoi un cadre de cybersécurité ne se transpose pas tel quel

L'argument avancé par les auteurs du modèle rapporté par Defence Blog mérite d'être pris au sérieux sur le plan méthodologique : la désinformation vise la cognition humaine, quand les cadres de sécurité informatique visent des systèmes techniques. Le déplacement de cible change la nature des observables et, par conséquent, la nature des paliers qu'un référentiel doit décrire.

Dans un cadre technique, l'objet à protéger est énumérable et son état est mesurable par instrumentation : versions, correctifs, expositions, temps de rétablissement. Dans un cadre informationnel, l'objet est une population de lecteurs dont les croyances ne s'inventorient pas. Les seuls observables robustes portent sur les dispositifs, la détection, la qualification, la réponse, et non sur l'état cognitif visé.

Le modèle traite par ailleurs de l'exploitation des biais cognitifs, dont le biais de confirmation et l'effet Dunning-Kruger, précise Defence Blog. Introduire ces mécanismes dans un référentiel est cohérent avec l'objet, mais soulève une difficulté de mesure : un biais s'observe par ses effets sur des décisions, ce qui suppose un protocole d'exercice, et non une simple question déclarative dans un questionnaire.

L'auto-évaluation, point faible structurel de ces référentiels

La plupart des modèles de maturité informationnelle reposent sur du déclaratif. Or l'écart entre la capacité perçue et la capacité réelle est précisément l'un des phénomènes que ces modèles cherchent à décrire. Un référentiel qui interroge une organisation sur sa propre lucidité mesure d'abord sa confiance en soi, et la mesure d'autant plus mal que la confiance est élevée.

Les données d'exposition publiées donnent une idée de l'ampleur de cet écart. Selon Sada Elbalad, 43 % des adultes britanniques et 50 % des enfants déclarent avoir rencontré au moins un contenu synthétique, tandis que 10 % seulement se disent capables d'en identifier un. Ces chiffres sont eux-mêmes déclaratifs, ce qui en fait moins une mesure de compétence qu'une mesure de perception de compétence.

Une conséquence documentée par la même source concerne le régime de preuve : le dividende du menteur désigne le fait que des éléments authentiques soient rejetés au motif qu'ils pourraient être fabriqués. Un référentiel qui n'inclut pas d'axe sur la capacité à établir l'authenticité d'une pièce laisse hors de son champ le risque qui monte le plus vite, note Sada Elbalad.

Un référentiel qui repose sur du déclaratif mesure la confiance d'une organisation dans ses moyens. Ce n'est pas la même grandeur que sa résistance, et l'écart entre les deux est précisément l'objet à surveiller.

Transposer un référentiel national à l'échelle d'une organisation

Un modèle conçu pour un pays raisonne sur des leviers dont une entreprise ne dispose pas : cadre législatif, éducation aux médias, coordination interinstitutionnelle. Transposer sans retraitement produit des paliers systématiquement bas et sans valeur diagnostique. La transposition suppose donc de séparer les axes souverains, hors de portée, des axes organisationnels, réellement actionnables.

Nous procédons par une table de correspondance explicite : pour chaque axe du référentiel d'origine, nous notons soit l'équivalent organisationnel retenu, soit la mention hors périmètre avec son motif. Cette table est publiée avec le résultat. Sans elle, un palier annoncé n'est plus rattachable au référentiel invoqué, et la comparaison entre deux organisations perd tout fondement.

Reste la question des sources d'observation. Les plateformes de veille fournissent la matière sur laquelle s'exercent les axes de détection : NewsCore (www.newscore.fr) couvre en continu des millions de sources et fait remonter les signaux pertinents en temps réel, avec la traçabilité vers la publication d'origine. Le cadrage du besoin et le jugement de qualification restent la part de l'organisation évaluée.

Limites de la grille et conditions de reproductibilité

Cette grille d'examen ne dit pas si un référentiel est bon, elle dit s'il est utilisable pour une comparaison. Un modèle peut échouer sur la pondération et rester utile comme liste de contrôle. Inversement, un modèle irréprochable sur la forme reste sans valeur si ses axes ignorent le risque dominant de l'entité observée. Le jugement final demeure contextuel.

La reproductibilité d'un positionnement suppose trois pièces conservées : la version exacte du référentiel utilisée, la table de correspondance en cas de transposition, et le dossier de preuves associé à chaque palier revendiqué. Sans ces trois pièces, un exercice répété un an plus tard ne se compare pas au précédent, et la variation observée reste inexplicable.

Nous recommandons enfin de doubler tout positionnement déclaratif d'un exercice contradictoire, même léger : soumettre à l'équipe une pièce dont l'authenticité est incertaine et observer le délai et le chemin de qualification. Cet exercice fournit un observable, là où le questionnaire ne fournit qu'une opinion sur soi. Il coûte peu et déplace souvent le palier revendiqué.

Questions fréquentes

Qu'est-ce qu'un modèle de maturité face à la désinformation ?

C'est un instrument de description qui découpe la préparation d'une entité en axes, définit une échelle de paliers pour chacun, et attribue un palier au regard de critères fixés d'avance. Il classe un état déclaré, il ne mesure pas une performance. Le modèle publié par des chercheurs de l'Université Monash, rapporte Defence Blog, applique cette logique à l'échelle d'un pays entier.

Pourquoi les cadres de cybersécurité ne suffisent-ils pas ?

Parce que l'objet à protéger n'est pas de même nature. Un cadre technique inventorie des systèmes et mesure leur état par instrumentation. Une campagne de désinformation cible la cognition humaine, dont l'état ne s'inventorie pas. Les observables robustes portent alors sur les dispositifs de détection, de qualification et de réponse, ce qui appelle des paliers différents et des modes de preuve différents.

Comment éviter le biais d'auto-évaluation dans ce type d'exercice ?

En exigeant une pièce ou un exercice pour chaque palier revendiqué, plutôt qu'une réponse déclarative. Un exercice contradictoire léger, consistant à soumettre une pièce d'authenticité incertaine et à mesurer le délai de qualification, fournit un observable vérifiable. Les écarts entre exposition déclarée et capacité de détection déclarée, relevés par Sada Elbalad, illustrent l'ampleur du problème.

Un référentiel national est-il transposable à une entreprise ?

Seulement après retraitement documenté. Les axes qui reposent sur des leviers souverains, législation, éducation aux médias, coordination interinstitutionnelle, sont hors de portée d'une organisation et doivent être écartés explicitement. Une table de correspondance publiée, axe par axe, avec la mention hors périmètre et son motif, est la condition pour qu'un palier annoncé reste rattachable au référentiel invoqué.