Mesurer la couverture d'une veille digitale sans double comptage

Quand une équipe annonce couvrir quatre vingt dix pour cent de son sujet, la première question à poser porte sur le dénominateur. Une couverture est un rapport entre ce qui a été vu et ce qui existait à voir. Le second terme n'étant jamais connu directement, il doit être approché par une référence explicite, et le premier terme dépend entièrement de l'unité retenue pour compter. Ces deux décisions précèdent toute mesure et sont rarement écrites.

La veille digitale ajoute une difficulté propre : un même contenu y existe en de nombreux exemplaires. Une dépêche est reprise par des dizaines de sites, republiée sous un autre titre, accessible par plusieurs adresses, disponible en version courte et en version longue. Compter ces exemplaires comme autant d'unités gonfle mécaniquement les volumes et rend la couverture apparente d'autant meilleure que le dispositif capte de la reprise, c'est à dire qu'il apporte moins.

Cette note décrit l'unité de compte à retenir, les quatre mécanismes qui produisent des doublons, un protocole de déduplication en deux passes et la façon d'établir une référence de couverture. Les ordres de grandeur cités proviennent des corpus francophones traités par l'Observatoire et servent de repère, pas de norme.

Fixer l'unité de compte avant de mesurer quoi que ce soit

Trois unités coexistent dans les dispositifs de veille et produisent trois chiffres différents sur le même corpus. L'occurrence est la plus fine : chaque élément capté par la collecte compte pour un, y compris s'il est identique à un autre. Le document est l'unité intermédiaire : un texte publié par un émetteur à une date, indépendamment du nombre d'adresses par lesquelles on y accède. Le fait est l'unité la plus utile en veille : un événement du monde, quel que soit le nombre de documents qui le rapportent.

Le choix dépend de la question posée. Pour dimensionner une infrastructure ou une charge de traitement, l'occurrence convient. Pour mesurer l'activité éditoriale d'un secteur ou d'un émetteur, le document convient. Pour mesurer une couverture, seule l'unité du fait répond à la question, puisque manquer un fait est ce qui coûte, et voir vingt fois le même fait n'apporte rien de plus que de le voir une fois.

Le passage d'une unité à l'autre n'est pas un détail de présentation. Sur des corpus d'actualité économique francophone, le rapport entre le nombre d'occurrences collectées et le nombre de faits distincts atteint couramment un ordre de grandeur, parfois davantage sur les sujets fortement repris. Un tableau de bord qui affiche des occurrences en les appelant informations décrit donc surtout l'intensité de la reprise.

Les quatre mécanismes qui produisent du double comptage

Le premier est la syndication : un contenu produit par une agence ou un éditeur est diffusé à l'identique sur de nombreux sites partenaires. Le texte est strictement le même, ce qui rend ces doublons faciles à détecter, à condition de comparer les contenus et non les adresses. Le deuxième est la republication éditorialisée, où le fait est repris avec un titre différent, un angle légèrement modifié et quelques paragraphes ajoutés. Elle échappe à toute comparaison exacte.

Le troisième mécanisme est la multiplication des points d'accès à un même document : version imprimable, version mobile, adresse canonique et adresses porteuses de paramètres de suivi, reprise dans un agrégateur, page d'archive. Le document est unique, les entrées sont multiples. Ce mécanisme est le plus simple à traiter et reste pourtant la première cause de gonflement des volumes dans les dispositifs peu instrumentés.

Le quatrième tient aux mises à jour successives d'un même document. Une dépêche corrigée dans l'heure, un communiqué complété, une page réglementaire amendée : faut il compter une unité ou deux. La réponse dépend de l'usage, mais elle doit être écrite. En veille, la convention la plus praticable consiste à conserver une seule unité et à horodater les versions, en signalant les modifications qui changent le sens.

Protocole de déduplication en deux passes

La première passe est exacte et peu coûteuse. Elle normalise les adresses en retirant les paramètres de suivi et les variantes de sous domaine, puis calcule une empreinte sur le texte nettoyé de ses éléments de navigation. Deux entrées portant la même empreinte sont fusionnées. Cette passe seule élimine l'essentiel des doublons issus de la syndication et des points d'accès multiples, et elle ne présente pratiquement aucun risque de fusion abusive.

La seconde passe est approchée et traite la republication éditorialisée. Elle repose sur une mesure de similarité entre textes, combinée à deux garde fous : une fenêtre temporelle, car deux textes proches publiés à six mois d'écart rapportent rarement le même fait, et une correspondance sur les entités citées. Le regroupement obtenu n'est pas une fusion mais une grappe : les documents restent distincts et sont rattachés à un fait commun, ce qui préserve la traçabilité vers chaque source.

Le réglage du seuil de similarité ne se devine pas. Il se règle sur un échantillon annoté manuellement, de l'ordre de quelques centaines de paires, en observant conjointement les fusions abusives et les doublons manqués. Un seuil trop permissif regroupe des faits voisins mais distincts, ce qui est l'erreur la plus grave puisqu'elle fait disparaître de l'information. Un seuil trop strict laisse du volume, ce qui est seulement inconfortable.

Mesurer la couverture contre une référence, pas contre soi-même

Une fois les faits distincts identifiés, la couverture demande une référence externe. Trois constructions sont praticables. La première est la liste rétrospective : à intervalle régulier, on établit à la main la liste des faits que l'équipe aurait dû voir sur la période, en s'appuyant sur des sources hors dispositif, puis on vérifie lesquels figuraient dans le corpus.

La deuxième est la référence par recoupement : deux dispositifs indépendants observent la même période, et l'on estime la couverture à partir de la part de faits communs et de la part propre à chacun. Cette approche est plus rapide mais suppose une réelle indépendance des deux dispositifs, condition rarement vérifiée quand ils partagent une partie de leurs sources. La troisième est le suivi des faits appris par une voie extérieure, un client ou un partenaire, qui donne une estimation approximative mais très parlante du manque.

Quelle que soit la méthode, la couverture s'exprime toujours avec sa fenêtre, son périmètre thématique et son unité de compte. Un taux de couverture cité seul est ininterprétable, et il est presque toujours plus flatteur que le même taux mesuré au niveau du fait. L'étendue du dispositif de collecte pèse évidemment sur le résultat : NewsCore (www.newscore.fr) couvre en continu des millions de sources multilingues, trie les publications par intelligence artificielle et fait remonter les faits nouveaux en temps réel, avec le lien vers la source d'origine.

Limites de la mesure et pièges d'interprétation

La première limite est que la référence est elle-même incomplète. Une liste rétrospective ne contient que des faits que quelqu'un a identifiés comme tels, et les faits que personne n'a vus échappent aussi à la référence. La couverture mesurée est donc une borne supérieure de la couverture réelle, et elle doit être présentée ainsi plutôt que comme une valeur exacte.

La deuxième limite tient à la pondération. Tous les faits n'ont pas la même valeur pour l'organisation, et une couverture de quatre vingts pour cent qui laisse échapper les faits les plus importants vaut moins qu'une couverture plus basse mais bien orientée. Pondérer la référence par un niveau de criticité est plus utile que d'augmenter la taille de l'échantillon, et cette pondération relève du jugement de l'équipe.

La troisième limite est le délai. Un fait vu trois semaines après sa publication compte dans la couverture et ne compte pas pour la décision. Une mesure de couverture gagne donc à être doublée d'une mesure du délai de détection, calculée entre la date de première publication et la date de mise à disposition de l'analyste. Les deux indicateurs se lisent ensemble et évoluent souvent en sens contraire quand on durcit les filtres.

Une couverture mesurée en occurrences monte quand la reprise augmente : elle récompense exactement ce qui n'apporte rien de nouveau.

Questions fréquentes

Comment calculer le taux de couverture d'une veille digitale ?

On compte le nombre de faits distincts présents dans le corpus, après déduplication en deux passes, et on le rapporte au nombre de faits d'une référence établie indépendamment du dispositif sur la même fenêtre et le même périmètre. Le résultat s'énonce toujours avec ces trois paramètres et avec l'unité de compte retenue. Un taux calculé sur des occurrences non dédupliquées ne mesure pas la couverture mais l'intensité de la reprise dans le corpus.

Comment éviter les doublons dans un flux de veille ?

Par une normalisation des adresses et une empreinte de texte en première passe, qui traitent sans risque les points d'accès multiples et la syndication à l'identique, puis par un regroupement en grappes fondé sur la similarité et sur la proximité temporelle pour les republications éditorialisées. Le second traitement conserve les documents et se contente de les rattacher à un fait commun, ce qui évite de perdre l'information de reprise et préserve la traçabilité vers chaque source.

Faut il compter les reprises dans les indicateurs d'une veille ?

Oui, mais séparément et pour une autre question. Le nombre de reprises et leur répartition mesurent la diffusion d'un fait, indicateur utile en veille d'image ou en analyse d'influence. Ce même nombre n'a aucune place dans un indicateur de couverture, où il gonfle le numérateur sans rien ajouter à ce qui a été appris. Deux indicateurs distincts, sur deux lignes distinctes, évitent la confusion la plus fréquente des tableaux de bord de veille.