Fusionner deux documents qui décrivent le même événement sans perdre la source d'origine

Deux textes différents, un seul fait

Deux dépêches publiées à quelques heures d'intervalle, rédigées par deux rédactions distinctes, avec un vocabulaire différent et des détails complémentaires, peuvent décrire un seul et même événement. Rien dans la forme du texte ne signale cette identité : les mots diffèrent, l'ordre des informations diffère, parfois même certains détails secondaires divergent légèrement, sans que cela remette en cause le fait que les deux textes rapportent un fait unique survenu à une date et dans un lieu identifiables. Décider de fusionner ces deux enregistrements en un seul, ou de les conserver distincts, change directement le compte d'événements produit par le dispositif de veille, et donc toute mesure de fréquence calculée à partir de ce compte.

Ce cas diffère nettement du doublon au sens strict, où deux copies quasi identiques d'un même texte circulent sous des canaux différents : là, la déduplication consiste à repérer une similarité textuelle forte et à ne garder qu'une occurrence. Ici, les textes sont dissemblables, parfois rédigés dans des styles opposés, et c'est le fait rapporté, non le texte, qui constitue l'unité à ne pas compter deux fois. La confusion entre ces deux opérations, déduplication textuelle et fusion événementielle, conduit à sous traiter l'une ou l'autre selon les cas, avec des effets de comptage opposés.

Quatre critères de concordance pour décider d'une fusion

Une fusion défendable repose sur la concordance simultanée d'au moins quatre éléments. La date du fait rapporté d'abord : deux textes qui situent l'événement à des dates éloignées de plusieurs jours décrivent probablement deux faits distincts, même si le sujet général se ressemble. Le lieu ensuite : un fait localisé précisément dans deux textes à des endroits différents n'est pas le même fait, sauf si l'un des deux textes est imprécis au point de ne pas contredire l'autre. Les acteurs impliqués, troisièmement : la présence des mêmes personnes ou organisations dans les deux récits renforce fortement la présomption d'identité. Le fait décrit, enfin, au sens le plus étroit : deux textes peuvent partager date, lieu et acteurs tout en rapportant deux actions distinctes survenues dans le même contexte, ce qui interdit la fusion malgré la concordance des trois premiers critères.

Ces quatre critères ne fonctionnent pas comme une addition mécanique où trois concordances sur quatre suffiraient automatiquement à trancher. Le fait décrit prime sur les trois autres : une concordance parfaite de date, de lieu et d'acteurs ne justifie pas une fusion si les deux textes rapportent en réalité deux actions différentes de ces mêmes acteurs, au même endroit, le même jour. À l'inverse, une légère divergence de lieu, par exemple une adresse précise contre un nom de quartier, ne doit pas empêcher la fusion si les trois autres critères concordent et que l'imprécision s'explique par le niveau de détail inégal des deux sources.

Ce que la fusion ne doit jamais faire disparaître

Fusionner deux enregistrements ne signifie pas supprimer l'un des deux textes au profit de l'autre. La pièce que le dispositif retient comme représentative de l'événement fusionné doit conserver, en attache, la référence complète de chaque texte source qui a contribué à la fusion, avec son horodatage propre et son origine. Cette conservation permet, à tout moment ultérieur, de revenir sur la décision de fusion elle-même, de vérifier si elle reste justifiée à la lumière d'une information nouvelle, ou de la défaire si une divergence de fait apparaît a posteriori entre les deux textes initialement regroupés.

Un événement fusionné qui perd la trace de ses sources d'origine devient une affirmation qu'on ne peut plus vérifier ni corriger.

La conservation de la pièce d'origine sert aussi un objectif de robustesse analytique : lorsque deux textes fusionnés apportent des informations complémentaires, l'un précisant un détail que l'autre ignore, la trace conjointe des deux sources permet de construire un enregistrement plus complet que n'importe lequel des deux pris isolément, sans pour autant faire disparaître les nuances ou les divergences mineures entre les deux récits, qui restent consultables séparément.

L'effet d'une fusion trop agressive sur le comptage

Une fusion trop permissive, qui regroupe sous un même événement des faits en réalité distincts au seul motif d'une ressemblance thématique, produit un effet de sous comptage systématique : le nombre d'événements distincts publié par le dispositif chute artificiellement, donnant l'impression trompeuse d'une activité concentrée sur quelques faits alors que la réalité est plus dispersée. Cet effet est particulièrement trompeur lorsqu'il touche différemment plusieurs catégories de sujets suivis, avec des critères de fusion appliqués plus ou moins strictement selon les cas, ce qui biaise alors les comparaisons entre catégories sans qu'aucun signal n'alerte sur cette hétérogénéité de traitement.

À l'inverse, une fusion trop timide, qui refuse de regrouper des textes pourtant concordants sur les quatre critères par excès de prudence, produit un sur comptage : le même fait apparaît plusieurs fois dans les résultats, gonflant artificiellement le volume d'événements distincts et faussant toute mesure de fréquence ou de tendance calculée à partir de ce volume. Les deux erreurs, sous comptage et sur comptage, ne se compensent pas : elles s'ajoutent aux autres sources d'incertitude du dispositif et doivent être traitées comme des biais de méthode à part entière, non comme des approximations négligeables.

Une règle de conservation de la pièce d'origine

La règle opérationnelle qui découle de ces observations tient en une phrase : aucune fusion ne doit être exécutée par suppression, seulement par regroupement avec conservation intégrale des pièces sources. Concrètement, cela signifie que chaque enregistrement d'événement fusionné porte une liste, même courte, des textes qui l'ont alimenté, et que cette liste reste accessible indépendamment de la présentation synthétique donnée à l'événement dans les résultats publiés.

Cette règle a un coût de stockage et de traitement, généralement modeste au regard du bénéfice qu'elle procure : elle transforme une décision de fusion, par nature discutable et parfois erronée, en une décision réversible. Un dispositif qui applique cette discipline peut revoir ses critères de fusion a posteriori et recalculer ses comptages historiques sur une base cohérente, ce qu'aucun dispositif ayant supprimé ses pièces sources au moment de la fusion ne peut plus faire. www.newscore.fr conserve systématiquement cette liste de pièces sources pour chaque événement fusionné et l'expose en marge de sa synthèse, ce qui relie chaque affirmation publiée aux textes qui la fondent.

Questions fréquentes

Deux textes qui se contredisent sur un détail secondaire doivent ils être fusionnés ? Oui, si les quatre critères concordent par ailleurs et que la divergence porte sur un point mineur, comme un chiffre approximatif donné différemment par deux sources. La fusion doit alors signaler cette divergence plutôt que la faire disparaître, en conservant les deux versions du détail contesté dans les pièces attachées.

Faut il fusionner deux textes qui rapportent le même fait mais à des dates de publication très éloignées ? La date de publication n'est pas le critère : seule compte la date du fait rapporté. Un texte publié tardivement peut décrire un événement ancien déjà couvert, et la fusion reste alors justifiée malgré l'écart de publication entre les deux textes.

Un dispositif automatisé peut il appliquer ces quatre critères sans intervention humaine ? Partiellement : la concordance de date et de lieu se prête à une vérification automatisée, la concordance des acteurs également dans une certaine mesure, mais la comparaison du fait décrit au sens étroit reste l'étape la plus difficile à automatiser de façon fiable et bénéficie généralement d'une revue humaine sur les cas ambigus qui restent proches de la frontière de décision.

Comment mesurer si les critères de fusion appliqués sont trop stricts ou trop permissifs ? En comparant, sur un échantillon contrôlé, le nombre d'événements obtenus avec la règle en vigueur et avec une version légèrement plus stricte ou plus permissive : un écart important entre les deux résultats signale une règle instable qui mérite d'être resserrée et documentée avant toute publication du comptage.