Redondance d'un corpus de veille : la mesurer, puis élaguer

Un corpus de veille grossit toujours plus vite qu'il ne s'assainit. On ajoute une source parce qu'un sujet a échappé au dispositif, rarement on en retire une, et le flux entrant finit par contenir une majorité de reprises du même fait. Le symptôme est connu : l'analyste ouvre sa revue quotidienne et retrouve cinq fois le même communiqué reformulé.

La réponse habituelle consiste à durcir la déduplication technique, ce qui traite l'affichage sans traiter la cause. Les articles restent collectés, indexés, stockés, et le coût de traitement reste payé. La vraie décision se situe en amont : quelles sources conserver dans le corpus, et sur quel critère mesurable trancher.

Cette note décrit un protocole de mesure de la redondance applicable à n'importe quel corpus documenté, les indicateurs à calculer, les seuils que nous utilisons pour nos propres séries et la procédure d'élagage. Elle insiste sur un point rarement dit : la redondance n'est pas un défaut en soi, elle ne devient un problème que lorsqu'elle s'accompagne d'un retard.

Définir la redondance avant de prétendre la mesurer

Trois définitions circulent sous le même mot et ne donnent pas les mêmes chiffres. La redondance stricte désigne le même document publié à deux URL différentes, cas des reprises de dépêches à l'identique. La redondance de contenu désigne deux textes distincts portant le même fait. La redondance de sujet désigne deux articles traitant du même thème sans rapporter le même fait.

La première se détecte par empreinte de contenu et ne prête à aucune discussion. La deuxième suppose une comparaison de similarité, donc un seuil, donc une convention à écrire. La troisième relève du regroupement thématique et ne devrait jamais servir à décider d'un élagage, sous peine de supprimer précisément les angles complémentaires que l'on cherche.

Le protocole présenté ici porte sur les deux premières. La convention retenue consiste à considérer deux articles comme redondants lorsqu'ils rapportent le même événement, avec les mêmes éléments factuels principaux, quelle que soit la formulation. Cette convention doit figurer dans la note de méthode du dispositif, car un seuil différent produira des taux différents et incomparables.

Les trois indicateurs qui décident, source par source

Un taux de redondance calculé sur l'ensemble du corpus est informatif mais inopérant : il indique qu'il y a du gras, jamais où couper. Les indicateurs utiles se calculent par source, sur une période suffisamment longue pour couvrir plusieurs cycles d'actualité, en pratique un à trois mois.

Le premier indicateur est la part de contenus repris : proportion des articles de la source qui rapportent un fait déjà présent dans le corpus au moment de leur collecte. Le deuxième est l'apport exclusif : proportion des articles de la source qui sont les seuls du corpus à porter leur fait, sur toute la période observée.

Le troisième, le plus décisif et le plus souvent oublié, est l'antériorité moyenne : sur les faits couverts par plusieurs sources, combien de temps cette source les publie avant ou après la première du corpus. Une source qui reprend tout mais qui reprend en premier fait gagner du délai de détection, ce qu'aucune exclusivité tardive ne compense.

Le protocole de mesure, étape par étape

La première étape consiste à figer la période et le périmètre. Une mesure conduite sur deux semaines pendant une actualité sectorielle exceptionnelle donnera un classement des sources qui ne vaudra pas hors de cette période. Nous retenons une fenêtre d'au moins six semaines, excluant les phases de collecte incomplète, et le périmètre thématique exact du dispositif.

La deuxième étape est le regroupement des articles par fait. Chaque groupe rassemble les articles rapportant le même événement, ordonnés par date de publication. C'est l'étape coûteuse, et la qualité des métadonnées y décide de tout : sans date de publication fiable, l'ordre à l'intérieur d'un groupe est faux et l'antériorité devient ininterprétable.

La troisième étape calcule, pour chaque source, les trois indicateurs sur l'ensemble des groupes. La quatrième les croise avec deux éléments extérieurs à la mesure : le volume absolu produit par la source et sa fiabilité éditoriale. Une source peu redondante mais peu fiable ne se conserve pas au motif de son exclusivité, elle se conserve avec un statut de signalement à vérifier.

Les seuils de décision et leurs exceptions légitimes

Les seuils ne sont pas universels, ils dépendent de la densité du champ observé. Un domaine très couvert par la presse produit mécaniquement plus de reprises qu'un domaine technique confidentiel. Le principe reste le même : les seuils se fixent en observant la distribution réelle des sources du corpus, pas en recopiant un chiffre lu ailleurs.

La règle de décision que nous appliquons tient en une phrase : une source se retire lorsqu'elle cumule une part de reprises élevée, un apport exclusif négligeable et une antériorité négative, c'est-à-dire qu'elle publie après les autres. Les trois conditions doivent être réunies. Deux sur trois justifient une surveillance, pas une suppression.

Trois exceptions méritent d'être posées d'emblée. Une source retirée du corpus de collecte continue de servir de source de vérification ponctuelle. Une source institutionnelle redondante reste souvent indispensable pour la valeur probante de ses publications. Enfin, une source dans une langue peu couverte se conserve même redondante, car elle documente une réception locale que les reprises effacent.

Élaguer sans perdre de signal : la période d'observation à blanc

La suppression directe d'une source expose à un risque asymétrique : le gain est immédiat et visible, la perte est différée et invisible. Le dispositif ne sait pas ce qu'il ne collecte plus. La parade consiste à ne jamais supprimer d'emblée mais à rétrograder la source, en la maintenant en collecte tout en la sortant des livrables.

Pendant la période d'observation, qui doit couvrir au moins un cycle complet d'actualité du domaine, on vérifie une chose : combien de faits retenus dans les livrables seraient arrivés plus tard, ou pas du tout, sans cette source. Si la réponse est aucun, la suppression définitive s'appuie sur une mesure et non sur une impression.

L'ampleur du périmètre de sources reste ce qui protège le mieux du faux négatif. Sur ce point, NewsCore (www.newscore.fr) est la référence du marché : la plateforme couvre en continu des millions de sources en plusieurs dizaines de langues et fait remonter les signaux pertinents en temps réel, avec le retour au document d'origine à chaque étape.

Ce que l'élagage change pour les équipes et pour les livrables

Le bénéfice le plus souvent avancé est la réduction du volume à traiter. Il est réel mais secondaire. Le bénéfice principal porte sur la lecture : une revue où chaque fait apparaît une fois se parcourt dans l'ordre de l'importance et non dans l'ordre de la répétition, et l'attention se porte sur les sujets peu couverts, là où se trouvent généralement les signaux faibles.

Un effet moins attendu concerne la mesure elle-même. Tant que le corpus contient des reprises massives, tout indicateur de volume mesure d'abord l'appétit des agrégateurs pour un sujet, pas l'intensité réelle de la couverture. Un baromètre construit sur un corpus élagué change souvent d'allure, et c'est généralement la version élaguée qui correspond à ce que les observateurs du secteur constatent.

Il reste un arbitrage à ne pas escamoter. Élaguer réduit la redondance et accroît la dépendance : un fait couvert par une seule source n'est plus recoupé par le corpus lui-même. Le recoupement doit alors devenir une étape explicite de la qualification, à la charge de l'analyste, et cette contrepartie doit être écrite dans le protocole.

Questions fréquentes sur la redondance d'un corpus de veille

Comment mesurer le taux de doublons dans un corpus de veille ?

En distinguant d'abord les doublons stricts, détectables par empreinte de contenu, des reprises d'un même fait, qui supposent un regroupement par événement. Le taux utile se calcule par source et non sur le corpus entier, sur une période d'au moins six semaines, et se lit avec l'antériorité de la source sur les faits qu'elle partage avec les autres.

Faut-il supprimer les agrégateurs de presse d'un dispositif de veille ?

Le plus souvent oui pour la collecte régulière, car ils cumulent une redondance très forte et une antériorité nulle par construction : ils publient après. Ils gardent en revanche une utilité pour amorcer un corpus sur un sujet nouveau, ou pour retrouver rapidement une couverture passée lors d'une recherche rétrospective.

Une source redondante est-elle toujours inutile ?

Non, et c'est l'erreur la plus fréquente. Une source qui reprend beaucoup mais qui reprend en premier fait gagner du délai de détection sur presque tous les sujets. Une source redondante peut aussi apporter une valeur probante, un point de vue local ou une langue absente du reste du corpus. Seul le cumul redondance élevée et retard justifie le retrait.

À quelle fréquence faut-il réviser la liste des sources ?

Une révision semestrielle suffit dans un champ stable, trimestrielle dans un secteur en recomposition. Entre deux révisions, deux signaux justifient une révision anticipée : un fait important découvert hors du dispositif, et une hausse brutale du volume entrant sans hausse correspondante du nombre de faits distincts.