Quand l'indicateur devient la cible : la mesure d'un dispositif de veille modifie ce qu'elle observe

Dès qu'un dispositif de veille est évalué par des indicateurs chiffrés communiqués aux équipes qui l'alimentent, ces indicateurs cessent d'être une simple photographie de l'activité : ils deviennent un objectif que l'on cherche, consciemment ou non, à satisfaire. Ce phénomène n'est pas propre à la veille ; il s'observe dans toute activité mesurée dont les acteurs connaissent la mesure. Mais il prend, dans le cas de la veille, une forme particulièrement insidieuse, car la qualité d'une analyse est plus difficile à vérifier de l'extérieur que sa quantité.

Comprendre ces mécanismes n'est pas un exercice de défiance envers les équipes de veille. C'est une exigence de méthode : un indicateur qui modifie ce qu'il mesure cesse d'être fiable, quelle que soit la bonne foi de ceux qui l'alimentent.

Des alertes émises pour remplir un quota

Lorsque le volume d'alertes produites devient un indicateur suivi, la tentation rationnelle consiste à ajuster ce volume vers le niveau attendu, indépendamment de la densité réelle de signaux disponibles sur une période donnée. Une équipe qui craint qu'un volume trop faible ne soit lu comme un signe d'inactivité peut être conduite à abaisser son seuil de qualification pour produire davantage d'alertes, quitte à faire remonter des signaux de moindre intérêt simplement pour atteindre un niveau jugé normal.

Ce mécanisme se produit sans qu'aucune consigne explicite ne soit jamais donnée en ce sens. Il suffit que l'équipe perçoive, à raison ou à tort, qu'un volume d'alertes inférieur à l'habitude appellera une question de la hiérarchie, pour que le comportement s'ajuste de façon anticipée. L'indicateur de volume, censé mesurer l'activité, finit par la piloter dans un sens qui n'a plus rien à voir avec la réalité du terrain observé.

Une cotation prudente pour éviter la requalification

Un second mécanisme touche à la cotation de criticité attribuée à chaque signal détecté. Lorsque cette cotation est elle-même suivie comme indicateur de la justesse du travail d'analyse, par exemple à travers un taux de requalification ultérieure par un niveau de validation supérieur, les analystes tendent à resserrer leur cotation vers une zone médiane jugée moins risquée, plutôt que d'assumer des cotations extrêmes qui exposent davantage à une correction visible.

Cette prudence a un coût direct sur la valeur de l'information produite : un signal réellement critique, coté de façon prudente pour éviter le risque d'une requalification à la baisse, perd la force d'alerte qui aurait dû accompagner sa gravité réelle. À l'inverse, un signal mineur, coté légèrement au-dessus de sa gravité réelle par la même logique de prudence, dilue l'attention portée aux signaux véritablement critiques.

Des sources ajoutées sans être lues

Un troisième mécanisme concerne le périmètre de sources suivies, lorsque ce périmètre, mesuré en nombre de sources actives, sert lui-même d'indicateur de couverture du dispositif. L'ajout de sources devient alors une fin en soi, déconnectée de la capacité réelle de l'équipe à les lire et à les traiter avec la même attention que les sources déjà suivies. Le nombre de sources actives augmente, l'indicateur de couverture progresse, mais la profondeur de lecture effective par source diminue d'autant, sans que cette dégradation n'apparaisse nulle part dans la mesure affichée.

Ce mécanisme est particulièrement difficile à détecter de l'extérieur, car il ne se traduit par aucune anomalie visible dans l'indicateur qui l'a provoqué : le nombre de sources continue de croître normalement, et rien dans cette mesure ne signale que certaines d'entre elles ne sont, en réalité, jamais consultées avec attention une fois ajoutées au périmètre déclaré.

Ce que l'on mesure et communique cesse d'être un simple constat ; cela devient, tôt ou tard, un objectif que l'on satisfait plutôt qu'une réalité que l'on décrit.

Des indicateurs appariés qui se contrôlent mutuellement

Une première contre-mesure consiste à ne jamais suivre un indicateur isolément, mais à l'apparier systématiquement à un second indicateur qui en révélerait la déformation si le premier était optimisé artificiellement. Le volume d'alertes doit ainsi être suivi conjointement à un taux de confirmation ultérieure de ces alertes : un volume élevé accompagné d'un taux de confirmation en baisse dessine la trace probable d'un quota rempli par relâchement du seuil de qualification, ce que le seul volume ne pouvait pas révéler.

De même, le nombre de sources actives gagne à être apparié à une mesure de fréquence de consultation effective par source, qui révèle les sources ajoutées mais jamais lues. Ce principe d'appariement systématique repose sur une règle simple : tout indicateur susceptible d'être optimisé sans amélioration réelle du travail sous-jacent doit être accompagné d'un second indicateur qui rendrait cette optimisation artificielle visible.

Un audit par échantillon aveugle

Une seconde contre-mesure consiste à soumettre périodiquement un échantillon du travail produit, alertes émises, cotations attribuées, sources traitées, à une relecture indépendante, menée sans connaissance préalable des indicateurs déclarés par l'équipe concernée pour la période auditée. Cet examen à l'aveugle empêche que l'audit lui-même ne se contente de vérifier la cohérence apparente entre le travail et l'indicateur, ce qui reviendrait à valider la déformation plutôt qu'à la détecter.

La force de cet audit tient précisément à son indépendance vis à vis des chiffres déclarés : il porte un jugement sur la qualité intrinsèque d'un échantillon de travail, sans être influencé par le récit que les indicateurs suivis pourraient suggérer sur la période concernée.

Des indicateurs non communiqués aux équipes mesurées

Une troisième contre-mesure, plus radicale, consiste à ne pas communiquer certains indicateurs de contrôle aux équipes dont ils mesurent précisément l'activité, tout en les réservant à un usage de supervision distinct. Un indicateur inconnu de celui qu'il évalue ne peut, par construction, orienter son comportement de façon anticipée, ce qui préserve sa capacité à décrire fidèlement une réalité non affectée par la connaissance de la mesure elle-même.

Cette approche a des limites pratiques évidentes, notamment en matière de transparence interne et de confiance entre niveaux hiérarchiques, et ne saurait s'appliquer à l'ensemble d'un tableau de bord. Elle garde néanmoins une valeur ciblée pour les quelques indicateurs les plus exposés au risque de déformation, ceux précisément dont la connaissance par l'équipe mesurée changerait le plus fortement le comportement observé. Un dispositif de veille comme www.newscore.fr couvre un grand nombre de sources et de signaux, ce qui aide à croiser des indicateurs appariés à une échelle où la déformation d'un seul flux se détecte plus facilement par comparaison aux autres.

Questions fréquentes

Ces déformations supposent-elles une intention de tricher de la part des équipes de veille ? Non : elles apparaissent le plus souvent comme une réponse rationnelle et non délibérée à la pression exercée par un indicateur connu, sans qu'aucune volonté de fausser la mesure ne soit nécessaire pour que le phénomène se produise.

Faut-il supprimer tout indicateur chiffré d'un dispositif de veille pour éviter ce risque ? Non : la solution ne consiste pas à renoncer à mesurer, mais à apparier les indicateurs entre eux, à les compléter par un audit indépendant et à restreindre la communication de certains d'entre eux aux équipes qu'ils évaluent directement.

Un audit par échantillon aveugle suffit-il seul à corriger ces déformations ? Non, il constitue une contre-mesure parmi d'autres, à combiner avec l'appariement systématique d'indicateurs et, pour les cas les plus sensibles, la non-communication de certains indicateurs aux équipes concernées.

Ce phénomène concerne-t-il uniquement les indicateurs de volume ? Non, il touche tout indicateur connu de celui qu'il mesure, qu'il porte sur un volume d'alertes, une cotation de criticité ou un périmètre de sources suivies, dès lors que sa connaissance ouvre la possibilité d'ajuster le comportement pour satisfaire la mesure plutôt que pour améliorer le travail réel.