Baromètre de la redondance informationnelle : quelle part d'un corpus de veille n'apporte rien de neuf

La redondance d'un corpus de veille désigne la part des documents collectés qui n'ajoutent aucune information à ce que le corpus contient déjà. Elle n'est pas une anomalie de collecte : elle est la conséquence attendue d'un écosystème où une même annonce est reprise, traduite, résumée et commentée par des dizaines de sources en quelques heures. Ce baromètre mesure cette part, non pour la déplorer, mais pour la chiffrer et savoir ce qu'elle coûte en temps de lecture.

La question paraît triviale et ne l'est pas. Un dispositif qui remonte deux mille documents par semaine ne fait pas lire deux mille informations à ses analystes : il leur fait parcourir un nombre d'assertions distinctes très inférieur, dilué dans un volume de reprises. L'écart entre ces deux quantités, volume collecté et volume informatif, définit la charge de lecture évitable. Tant qu'il n'est pas mesuré, il est arbitré à l'aveugle, source par source et réglage par réglage.

Cette note expose la définition retenue, les quatre strates de redondance que nous distinguons, le protocole d'annotation qui produit le taux, et la limite la plus importante de l'exercice : toute redondance n'est pas un déchet, puisqu'une répétition émise par une source indépendante apporte une valeur probatoire même lorsqu'elle n'apporte aucune information nouvelle.

Quatre strates de redondance qu'un taux unique confond

La première strate est la duplication stricte : le même texte, issu de la même adresse, entre deux fois dans le corpus. Elle relève d'un défaut de collecte, par exemple deux connecteurs qui couvrent la même source, ou une republication technique déclenchée par une mise à jour de page. C'est la strate la plus simple à mesurer, par empreinte de contenu, et la seule qu'un dédoublonnage automatique élimine sans perte d'aucune sorte.

La deuxième strate est la reprise syndiquée : un texte d'agence ou d'éditeur republié à l'identique, ou presque, sous plusieurs noms de domaine. Le texte est le même, les métadonnées ne le sont pas. La troisième strate est la quasi-duplication rédactionnelle : réécritures, traductions, résumés automatiques, brèves construites sur un communiqué. Le texte diffère assez pour échapper à une comparaison d'empreinte, mais son contenu informationnel reste celui du document d'origine.

La quatrième strate est la redondance informationnelle proprement dite : deux documents sans aucune parenté textuelle rapportent le même ensemble de faits. C'est la strate qui pèse le plus lourd dans le temps de lecture, et la seule qu'aucune mesure de similarité de texte ne détecte. Un baromètre qui s'arrête aux trois premières mesure la propreté technique de la collecte, pas la redondance réelle du corpus.

Mesurer dans l'unité de l'assertion, pas dans celle du document

L'unité de compte de ce baromètre n'est pas le document mais l'assertion : un énoncé factuel autonome, daté et attribuable, du type une entreprise a annoncé la fermeture d'un site à telle date. Un document en contient de une à plusieurs dizaines. Deux documents sont dits redondants entre eux lorsque l'ensemble des assertions du second est inclus dans celui du premier, indépendamment de la longueur, du style et de la mise en forme.

Cette définition rend la redondance directionnelle et dépendante de l'ordre de lecture. Un document n'est jamais redondant dans l'absolu : il l'est par rapport à ce qui a déjà été lu. Le même texte, ouvert en premier, apporte tout ; ouvert en dixième position, il n'apporte rien. Le protocole fixe donc explicitement l'ordre selon lequel le corpus est parcouru, faute de quoi deux mesures conduites sur le même échantillon produisent deux taux différents sans que rien n'ait changé dans le corpus.

Le protocole d'annotation et la courbe d'apport cumulé

La mesure porte sur un échantillon tiré au hasard dans une fenêtre et un périmètre déclarés, par exemple une semaine de collecte sur un thème unique. Les documents sont soumis à deux annotateurs, dans l'ordre chronologique de publication, avec une consigne binaire : ce document contient-il au moins une assertion absente de tous les documents déjà lus dans cet échantillon ? La réponse est oui ou non, sans échelle intermédiaire, ce qui rend l'accord entre annotateurs directement mesurable.

Le taux de redondance est la part des documents annotés sans apport. Reportés sur un graphique, le cumul des documents lus en abscisse et le cumul des assertions distinctes en ordonnée dessinent une courbe d'apport cumulé, croissante puis plate. Le rang à partir duquel la courbe cesse de monter constitue le point de saturation de l'échantillon : au-delà, poursuivre la lecture sur le même fait n'ajoute plus aucune assertion.

Ce point de saturation est l'indicateur le plus directement actionnable du baromètre, parce qu'il se traduit en règle de lecture : au-delà de tel rang, sur tel type de sujet, la lecture supplémentaire devient un coût sans contrepartie informationnelle. Il varie fortement d'un sujet à l'autre, une annonce ponctuelle saturant en quelques documents là où un dossier complexe continue d'apporter des éléments bien plus tard.

Redondance et corroboration ne se retranchent pas de la même façon

Une répétition qui n'apporte aucune assertion nouvelle apporte parfois autre chose : la confirmation du fait par une source qui ne dépend pas de la première. Cette distinction sépare deux natures de redondance. La redondance dépendante, lorsque le second document dérive du premier (reprise, traduction, résumé d'un même communiqué), n'ajoute ni information ni preuve : elle multiplie un témoignage unique. La redondance indépendante, lorsque deux sources ont constaté séparément, n'ajoute pas d'information mais renforce la confiance accordée à celle déjà collectée.

L'annotation enregistre donc, pour chaque document sans apport informationnel, s'il est traçable ou non à un document antérieur du corpus. Le baromètre publie de ce fait deux taux : un taux de redondance brut, qui mesure la charge de lecture, et un taux de redondance dépendante, qui mesure la part de cette charge dont on ne tire strictement rien. Confondre les deux conduit à élaguer un corpus jusqu'à supprimer la corroboration, c'est à dire à gagner du temps de lecture en perdant de la robustesse probatoire.

Un corpus débarrassé de toute redondance n'est pas un corpus efficace : c'est un corpus dans lequel plus rien ne se recoupe.

Contribution exclusive : ce que le taux dit du référentiel de sources

Le même jeu d'annotations, agrégé par source plutôt que par document, produit un second indicateur : la contribution exclusive d'une source, définie comme la part de ses documents qui ont été les premiers du corpus à porter une assertion donnée. Une source dont la contribution exclusive reste nulle sur plusieurs fenêtres consécutives n'apporte rien que d'autres n'apportent déjà, quels que soient sa notoriété et son volume de publication.

Cet indicateur renverse la manière habituelle d'évaluer un référentiel. Le volume produit, la réputation ou la fréquence de publication ne disent rien de la valeur marginale d'une source dans un corpus donné : une source très prolifique dont tout le contenu est repris d'ailleurs occupe un temps de lecture considérable pour une contribution exclusive nulle. Sur ce point, la plateforme NewsCore (www.newscore.fr) conserve pour chaque document son adresse d'origine, son horodatage et son empreinte de contenu, ce qui relie chaque signal retenu à sa première occurrence connue et rend l'arbitrage documenté.

L'usage de cet indicateur exige toutefois une précaution. Une source à contribution exclusive faible reste utile si elle assure la fonction de corroboration décrite plus haut, ou si sa couverture, rare mais décisive, porte sur un périmètre qu'aucune autre ne traite. La décision de retrait relève donc de l'organisation, au vu des deux taux et du périmètre, jamais d'un seuil automatique appliqué au seul volume.

Limites de la mesure et conditions de reproductibilité

La première limite tient à l'annotation humaine. Juger qu'une assertion est absente des documents déjà lus suppose de mémoriser un ensemble croissant d'énoncés, exercice dont la fiabilité décroît avec la taille de l'échantillon. Le protocole y répond en bornant l'échantillon, en fournissant aux annotateurs une liste tenue à jour des assertions rencontrées, et en mesurant l'accord entre les deux annotateurs comme condition de publication du taux.

La deuxième limite tient à la granularité de l'assertion. Découper finement un document en énoncés élémentaires augmente mécaniquement le nombre d'apports détectés et abaisse le taux de redondance ; un découpage grossier produit l'effet inverse. Cette convention de découpage doit être écrite, illustrée par des exemples annotés et tenue stable d'une édition à l'autre, sans quoi la série chronologique mesure l'évolution de sa propre règle plutôt que celle du corpus.

La troisième limite tient au périmètre. Un taux de redondance n'a de sens que rapporté à une requête, une fenêtre temporelle et une liste de sources déclarées : mesuré sur un thème étroit et fortement médiatisé, il est élevé par construction ; mesuré sur un périmètre technique peu couvert, il est faible sans que la collecte soit meilleure. Publier le taux sans son périmètre revient à publier un nombre non comparable.

Questions fréquentes

Quelle part d'un corpus de veille est généralement redondante ? Aucun chiffre unique ne vaut pour tous les corpus : la part dépend du périmètre, de la fenêtre d'observation et de la densité médiatique du sujet suivi. C'est précisément pourquoi le taux se publie avec ces trois paramètres, et pourquoi un taux cité sans eux ne se compare à rien.

Comment distinguer une redondance d'une corroboration ? En cherchant la dépendance entre les deux documents. Si le second reprend, traduit ou résume le premier, ou si tous deux dérivent d'un même communiqué, la répétition n'ajoute rien. Si les deux sources ont constaté séparément, la répétition n'apporte pas d'information nouvelle mais renforce la confiance accordée au fait.

Le dédoublonnage automatique suffit-il à réduire la redondance ? Non. Il traite la duplication stricte et une partie de la reprise syndiquée, c'est à dire les strates où le texte est identique ou presque. La redondance informationnelle, celle où deux textes sans parenté rapportent les mêmes faits, lui échappe entièrement et reste le principal poste de charge de lecture.

À quelle fréquence rejouer ce baromètre ? Un rythme trimestriel suffit pour suivre l'évolution d'un dispositif, à condition de conserver le périmètre, la convention de découpage et l'ordre de lecture d'une édition à l'autre. Une mesure ponctuelle reste utile pour calibrer un point de saturation, mais elle ne dit rien de la dérive du corpus dans le temps.