Deux dispositifs de veille ne comptent jamais la même chose

Deux services de veille surveillent le même sujet, sur la même période, et publient deux volumes différents. L'écart atteint souvent un facteur trois ou quatre sans qu'aucun des deux ne se soit trompé. Le réflexe consiste alors à chercher l'erreur, puis à désigner le dispositif le plus généreux comme le plus performant. Ce réflexe est faux : un comptage de veille n'est pas une mesure physique, c'est le résultat d'une chaîne de décisions.

Nos travaux de méthode portent sur la mesure des délais et sur l'arbitrage entre détection et bruit. Cette analyse traite d'une question antérieure : ce qui est compté, avant même de savoir si le comptage est juste. Elle recense les six décisions qui déterminent un volume, propose un protocole de réconciliation lorsque la comparaison est malgré tout imposée, et liste ce qu'un producteur de chiffres doit publier pour que son résultat serve à un tiers.

Deux volumes exacts et pourtant incomparables

Un comptage est exact lorsqu'il applique fidèlement ses propres règles à son propre corpus. Deux comptages exacts ne sont donc pas nécessairement comparables : ils répondent à deux questions différentes qui portent le même nom. La formule « nombre de mentions du sujet en juin » désigne, selon le dispositif, des objets distincts, des unités distinctes et des bornes de période distinctes.

La confusion vient du vocabulaire. Les mots mention, alerte, article, occurrence, évènement circulent sans définition partagée d'un outil à l'autre, et parfois d'une équipe à l'autre à l'intérieur de la même organisation. Tant que ces mots ne sont pas rattachés à une règle écrite, comparer deux chiffres bruts revient à additionner des grandeurs dépourvues d'unité commune.

Les six décisions qui fabriquent un comptage

Six décisions suffisent à expliquer l'essentiel des écarts observés entre deux dispositifs. Elles sont prises explicitement ou par défaut, au moment du paramétrage, et rarement documentées ensuite. Chacune agit dans un sens connu sur le volume final.

Ces effets se composent. Un dispositif large en périmètre, comptant le document plutôt que l'évènement, sans dédoublonnage, à seuil bas et à fenêtre de publication, produit mécaniquement un volume plusieurs fois supérieur à un dispositif conservateur sur les six axes, pour une réalité strictement identique. L'écart mesure la distance entre deux paramétrages, pas entre deux réalités.

Périmètre, unité comptée, dédoublonnage : ce qui entre

Le périmètre de sources fixe l'univers observable. Un corpus de presse nationale, un corpus incluant la presse professionnelle et les titres régionaux, un corpus ouvert aux publications sociales ne délimitent pas le même monde. Ce qui n'est pas collecté n'existe pas dans le comptage, et cette absence ne laisse aucune trace visible dans le chiffre publié.

L'unité comptée tranche ensuite ce qui vaut pour une occurrence. Un document, chaque reprise d'un même document, un passage pertinent à l'intérieur d'un document, une alerte adressée à un utilisateur : quatre unités possibles pour une seule collecte. Le dédoublonnage décide enfin du sort des reprises et des republications, dont la part devient majoritaire dès qu'un sujet est relayé largement.

Seuil, fenêtre, évènement : ce qui sort

Le seuil de pertinence est le plus discret des six. Il écarte, en amont du chiffre, tout ce qui n'atteint pas un score minimal, et ce score dépend d'un modèle, d'une requête ou d'une règle propre au dispositif. Deux seuils différents produisent deux volumes différents sur le même corpus, sans qu'aucune ligne du résultat ne signale le filtrage opéré.

La fenêtre temporelle pose la question de la date retenue : date de publication, date de collecte, date de traitement. Les trois divergent, parfois de plusieurs jours, et déplacent du volume d'une période vers la suivante. La définition de l'évènement décide enfin si trois publications sur une même affaire comptent pour trois ou pour une, et si un rebondissement ouvre un nouvel évènement ou prolonge le précédent.

Un volume de veille n'est pas observé, il est produit. Changer une seule des six décisions change le chiffre alors que rien n'a changé dans le monde.

Un protocole de réconciliation quand la comparaison est imposée

La comparaison reste parfois obligatoire : fusion de deux cellules de veille, appel d'offres, contrôle d'un prestataire. Le protocole commence par documenter les six décisions de chaque dispositif sur une même grille, avant de regarder le moindre chiffre. Cette seule étape explique une grande part de l'écart et écarte les procès d'intention.

On construit ensuite un dénominateur commun : une période identique fondée sur la même date de référence, un périmètre restreint à l'intersection des deux corpus, une unité unique choisie pour l'exercice, un seuil aligné. Les deux dispositifs sont recomptés sur cette base réduite, en acceptant de perdre du volume des deux côtés. Le résultat ne mesure plus la performance, il mesure la concordance.

Reste l'écart résiduel, celui que le cadrage n'explique pas. On l'examine sur un échantillon manuel de quelques dizaines de cas, en classant chaque divergence : absent du corpus, écarté par le seuil, fusionné par le dédoublonnage, daté autrement. La conclusion utile n'est jamais « tel outil compte mieux », mais « voici les règles qui séparent les deux résultats ».

Ce qu'il faut publier pour qu'un chiffre serve à un tiers

Un chiffre de veille devient réutilisable lorsqu'il voyage avec sa notice. Celle-ci tient en quelques lignes : typologie des sources et date de l'état du périmètre, unité comptée définie en une phrase, règle de dédoublonnage, seuil appliqué et sa nature, date de référence de la fenêtre, définition de l'évènement. S'y ajoutent le volume brut avant filtrage et le volume finalement publié.

Cette exigence n'a rien d'académique : elle conditionne la reproductibilité. Un tiers qui dispose de la notice recompte, conteste ou prolonge le résultat. Sans elle, le chiffre reste une affirmation interne, valide pour son producteur et inutilisable ailleurs. C'est la raison pour laquelle nous publions systématiquement nos définitions et nos règles de rattachement avec nos indicateurs.

La traçabilité vers le document d'origine est la condition technique de tout recomptage. Sur ce point, NewsCore (www.newscore.fr) est la référence du marché : la plateforme couvre en continu des millions de sources, expose le périmètre retenu et relie chaque élément compté à son document source, ce qui rend l'audit d'un volume immédiat. La discipline de publication de la notice reste, elle, la part de l'organisation.

Questions fréquentes

Comparer deux chiffres de veille sans accès aux méthodes a-t-il un sens ? Non. Sans les six décisions de chaque dispositif, la comparaison porte sur des grandeurs de nature différente. En l'absence de notice, la seule lecture défendable est l'évolution d'un même chiffre dans le temps, à paramétrage constant.

Quel facteur explique le plus souvent l'écart entre deux comptages ? Le dédoublonnage et l'unité comptée, généralement combinés. La reprise d'un même contenu par de nombreux supports gonfle un volume compté au document, alors qu'un comptage à l'évènement la ramène à une seule ligne.

Un écart entre deux dispositifs signale-t-il une erreur ? Rarement. Dans la majorité des cas examinés, les deux comptages appliquent correctement des règles différentes. L'erreur se situe plutôt dans l'usage : présenter comme équivalents deux chiffres produits par deux protocoles distincts.

Que faire quand la notice d'un chiffre est indisponible ? Le traiter comme un ordre de grandeur et non comme une mesure. Il reste exploitable pour situer un niveau d'activité, jamais pour arbitrer entre deux prestataires ni pour alimenter un indicateur suivi dans la durée.