Note de méthode : versionner un référentiel de sources

Un référentiel de sources n'est jamais figé. Des flux disparaissent, d'autres apparaissent, des sites changent d'adresse, des rubriques ferment, des périmètres linguistiques s'élargissent. Cette évolution est saine : un référentiel immobile décrit vite un paysage informationnel qui n'existe plus. Le problème n'est pas le mouvement, mais le mouvement non enregistré.

Dès qu'un référentiel change sans que le changement soit daté et documenté, toutes les séries temporelles construites dessus deviennent ambiguës. Une variation observée d'un trimestre à l'autre mélange alors deux effets de nature radicalement différente : ce qui a bougé dans le réel, et ce qui a bougé dans l'instrument de mesure. Aucune méthode d'analyse ne sépare après coup ces deux effets si l'information n'a pas été conservée au moment du changement.

Cette note décrit la discipline de versionnement que nous appliquons à nos propres référentiels : ce qu'un journal de révisions contient, comment recalculer une série à périmètre constant, à quelle fréquence réviser, et ce qu'il faut publier pour qu'un tiers rejoue une mesure ancienne sans rien nous demander. L'objectif est la reproductibilité, pas l'exhaustivité documentaire.

Pourquoi un référentiel mouvant rend une série ininterprétable

Soit une série comptant chaque mois les publications pertinentes détectées sur un secteur. Mars affiche une hausse de vingt pour cent. Trois explications au moins sont compatibles : le secteur a produit davantage d'actualité ; le référentiel s'est enrichi entre février et mars ; une source volumineuse déjà présente a modifié sa politique de publication. Sans journal des révisions, elles restent indiscernables.

Le risque joue presque toujours dans le même sens. Un référentiel entretenu grossit, parce qu'on ajoute plus de sources qu'on n'en retire : la série hérite d'une tendance haussière mécanique, indépendante de tout phénomène réel. Elle est d'autant plus trompeuse qu'elle est régulière, donc crédible. Une courbe qui monte lentement et sans à-coup ressemble à s'y méprendre à une dynamique de fond.

Les sorties produisent l'effet symétrique, plus brutal. La disparition d'un flux volumineux crée une rupture interprétée comme un effondrement de l'activité du secteur, alors qu'elle ne traduit qu'une perte de collecte. Un référentiel non versionné transforme chaque incident technique en événement analytique.

Une série temporelle ne mesure jamais le monde seul : elle mesure le monde vu à travers un instrument. Si l'instrument change sans être daté, la série ne dit plus lequel des deux a bougé.

Le journal des révisions : entrées, sorties, date d'effet, motif

La discipline tient dans un principe unique : aucune modification du référentiel ne se fait sans écriture d'une ligne de journal. Le journal n'est pas un commentaire rédigé après coup, c'est l'acte même par lequel la modification devient légitime. Une source ajoutée sans ligne de journal est une source qui n'existe pas méthodologiquement, quand bien même elle alimente déjà la collecte.

Quatre champs sont indispensables. La date d'effet, qui n'est pas la date de saisie : une source ajoutée le 12 mars mais rattrapée rétroactivement depuis le 1er janvier entre en vigueur au 1er janvier, et cette distinction gouverne tous les recalculs ultérieurs. Le motif, formulé en clair et rattaché à une catégorie stable (élargissement de périmètre, correction d'une lacune, fermeture du flux, doublon, qualité insuffisante). Le sens de l'opération, entrée ou sortie. Et l'identifiant stable de la source concernée.

Cet identifiant stable est le point le plus souvent négligé et le plus coûteux à rattraper. Identifier une source par son domaine ou par son intitulé fait perdre la continuité au premier changement d'adresse ou de titre : le système enregistre une sortie et une entrée là où rien n'a cessé. L'identifiant doit être arbitraire, attribué une fois pour toutes, et survivre à toutes les métamorphoses de la source, rachat ou fusion compris.

Le journal distingue enfin les révisions de périmètre des révisions de qualification. Ajouter une source modifie ce que l'on observe ; changer le score de fiabilité d'une source déjà présente modifie la façon dont on la pondère. Mélanger les deux dans un journal indifférencié rend les recalculs impraticables.

Recalculer une série à périmètre constant

Le journal ne sert pas à documenter, il sert à recalculer. Rendre une série comparable dans le temps suppose de choisir un périmètre de référence, puis de recalculer tous les points sur ce seul périmètre. Deux conventions existent, et on annonce laquelle est retenue.

La première consiste à retenir l'intersection : ne comptent que les sources présentes sur toute la période observée. La série obtenue est rigoureusement comparable, au prix d'un appauvrissement qui croît avec la longueur de la période. La seconde consiste à retenir le périmètre courant et à reconstituer rétroactivement ce que les sources récemment ajoutées auraient produit sur les périodes antérieures, lorsque leurs archives le permettent. Elle conserve la richesse du corpus mais suppose une collecte rétroactive complète, faute de quoi elle réintroduit un biais inverse.

Dans les deux cas, la règle de publication est identique : toute série présentée comme comparable dans le temps indique le périmètre de référence retenu et la période sur laquelle il est constant. Une série qui ne le précise pas ne doit pas être lue comme une évolution. Nous publions systématiquement, à côté de la série à périmètre constant, la série brute et l'écart entre les deux : cet écart mesure exactement la contribution des révisions de référentiel à la variation observée.

Le recalcul suppose que la collecte soit horodatée au niveau du document et rattachée à l'identifiant stable de sa source. Sans cette granularité, reconstituer un périmètre passé revient à réestimer, donc à introduire une approximation qui annule le bénéfice de l'exercice. L'infrastructure de veille multi-sources de NewsCore (www.newscore.fr) conserve cet horodatage et cet identifiant stable pour chaque document collecté, ce qui rend le recalcul à périmètre constant immédiat sur des corpus de plusieurs millions de sources. Le choix de la convention de recalcul, lui, reste une décision méthodologique.

À quelle fréquence réviser un référentiel

La fréquence de révision arbitre entre deux défauts. Révisé en continu, un référentiel suit fidèlement le paysage informationnel mais produit autant de versions que de jours : chaque point de série repose sur un instrument différent du précédent. Révisé trop rarement, il dérive, accumule flux morts et lacunes, et sa révision suivante provoque une rupture d'autant plus violente qu'elle est tardive.

La convention que nous retenons sépare les deux régimes. Les révisions planifiées sont trimestrielles et donnent lieu à une nouvelle version numérotée du référentiel : c'est le moment où l'on intègre les élargissements de périmètre, les retraits de flux devenus inactifs et les reclassements de qualification. Entre deux révisions planifiées, seules les corrections d'incident sont admises, c'est-à-dire le remplacement d'un flux dont l'adresse a changé ou le retrait d'une source dont la collecte est manifestement corrompue.

Les corrections d'incident sont réputées ne pas modifier le périmètre, puisqu'elles rétablissent une collecte qui aurait dû exister : elles sont journalisées comme les autres, avec leur date d'effet, mais n'ouvrent pas de version. Toute autre modification attend la révision planifiée suivante, ce qui impose une file d'attente documentée et évite les ajouts opportunistes en cours de trimestre.

Ce qu'il faut publier pour qu'un tiers rejoue une mesure ancienne

La rejouabilité départage un référentiel versionné d'un référentiel simplement documenté. Un tiers qui lit une mesure publiée il y a dix-huit mois reconstitue le périmètre exact qui l'a produite, sans accès privilégié ni échange avec nous. Quatre éléments sont publiés avec la mesure.

D'abord le numéro de version en vigueur à la date de la mesure, cité dans la publication elle-même et non dans une annexe séparée. Ensuite la composition de cette version : les identifiants stables des sources actives, avec leur date d'entrée et, le cas échéant, de sortie. Puis le journal des révisions couvrant la période. Enfin la convention de calcul appliquée, notamment le périmètre de référence et le traitement des sources partiellement couvertes.

Un point se tranche explicitement : les versions anciennes ne sont jamais écrasées. Publier la seule version courante en la présentant comme le référentiel interdit toute vérification des mesures antérieures et réécrit l'histoire de l'instrument. Chaque version reste accessible sous son numéro, y compris celles qui contenaient des erreurs, décrites dans le journal de la révision qui les a corrigées.

Cette exigence a un coût : conserver des états successifs, accepter qu'une mesure ancienne reste associée à un périmètre imparfait, renoncer au confort d'un référentiel unique et toujours à jour. Ce coût est le prix de la comparabilité. Une série dont personne ne sait reconstituer l'instrument n'est pas une donnée, c'est une affirmation.

Questions fréquentes

Comment savoir si une hausse observée vient du réel ou du référentiel ? En comparant la série brute à la même série recalculée à périmètre constant. L'écart entre les deux courbes mesure la contribution des révisions de référentiel. Si l'écart absorbe l'essentiel de la hausse, la variation est un artefact de mesure.

Pourquoi un identifiant stable plutôt que le nom du site ? Parce qu'un nom et une adresse changent, alors que la continuité de la source demeure. Sans identifiant arbitraire attribué une fois pour toutes, un simple changement d'URL est enregistré comme une sortie suivie d'une entrée, ce qui crée une fausse rupture dans toutes les séries concernées.

Faut-il recalculer toutes les séries à chaque révision ? Non, à condition de publier la série brute, la série à périmètre constant et le journal. Un recalcul complet s'impose lorsqu'une révision modifie substantiellement le périmètre, typiquement lors d'un élargissement linguistique ou sectoriel, et le changement est alors signalé sur la série elle-même.

Quelle fréquence de révision retenir ? Une révision planifiée trimestrielle, qui ouvre une nouvelle version numérotée, complétée par des corrections d'incident admises entre deux révisions et journalisées sans ouvrir de version. Ce rythme limite le nombre de versions tout en évitant qu'un référentiel dérive plusieurs mois sans entretien.