Le biais de survie des sources fausse toute mesure rétrospective

Tout référentiel de sources partage une propriété rarement explicitée : il ne recense que des sources vivantes. Une source fermée l'an dernier n'y figure plus. Une source dont l'adresse a changé sans redirection y figure sous une identité devenue introuvable. Une source qui a cessé de publier sans l'annoncer y figure encore et compte comme active. Le référentiel décrit l'état présent du paysage informationnel, jamais son état passé.

La propriété devient un problème dès que l'on mesure rétrospectivement. Reconstituer la couverture d'un sujet en 2022 à partir du référentiel de 2026 revient à faire témoigner le paysage d'aujourd'hui sur un paysage qui n'existe plus. Les sources disparues ne sont pas comptées comme absentes : elles sont invisibles, ce qui n'est pas la même chose. Une absence se mesure, une invisibilité se subit.

Cette note documente le biais de survie appliqué aux référentiels de sources : ses trois formes, la direction dans laquelle il déforme les séries temporelles, et la parade que nous appliquons. Elle prolonge nos travaux sur la fiabilité des sources en traitant une question distincte : la fiabilité pondère ce que le référentiel contient, le biais de survie porte sur ce qu'il ne contient plus.

Un référentiel de sources ne contient que des survivantes

Un référentiel se construit par accumulation et par entretien. On y ajoute les sources repérées, on retire celles qui ne répondent plus, on corrige les adresses cassées. Chaque opération est saine : maintenir un référentiel propre est une exigence opérationnelle évidente. Leur effet cumulé est pourtant d'effacer la trace des sources mortes, sans que personne ne l'ait décidé.

Le résultat est un artefact de sélection. Le référentiel n'est pas un échantillon du paysage informationnel : c'est un échantillon des sources ayant survécu jusqu'à la date de consultation. Un tel échantillon possède des caractéristiques différentes de la population dont il est issu, parce que la survie n'est pas aléatoire. Les publications institutionnelles, adossées à un financement stable, survivent mieux que les initiatives indépendantes ou tenues par une poignée de personnes.

Le biais est donc doublement orienté : il réduit le nombre de sources attribuables au passé et déforme leur composition en faveur des acteurs établis. Une analyse rétrospective sans précaution conclura que le paysage était plus institutionnel qu'il ne l'était et que les publications marginales y tenaient moins de place. Les deux conclusions sont fausses dans le même sens, et rien dans les données consultées ne permet de s'en apercevoir.

Les trois formes de disparition d'une source

Toutes les disparitions ne laissent pas les mêmes traces. Les distinguer conditionne le traitement : chacune se détecte par un signal différent et produit une erreur de sens différent.

La fermeture nette est la forme la plus visible. Le titre cesse d'exister ou fusionne dans un autre, l'adresse ne répond plus, la vérification automatique le signale. Le piège tient au traitement, pas à la détection : retirer la source efface aussi le fait qu'elle a produit du contenu les années antérieures. La correction consiste à archiver au lieu de supprimer.

Le changement d'adresse sans redirection est plus insidieux. Le contenu existe toujours, mais il a migré sans que l'ancienne adresse ne pointe vers la nouvelle. Techniquement, le cas est indiscernable d'une fermeture : dans les deux situations, l'adresse connue échoue. Une source parfaitement vivante est comptée comme morte et son activité récente échappe à la mesure. Seul un contrôle par le nom du titre, et non par son adresse, rattrape ces cas.

L'arrêt silencieux de publication est la forme la plus difficile. Le site répond, les pages s'affichent, mais plus rien n'est publié depuis des mois. Aucune vérification technique ne le détecte, puisque tout fonctionne. La source reste au référentiel, comptée comme active, et gonfle artificiellement le décompte des sources couvertes. C'est le cas symétrique du précédent : une source morte comptée comme vivante. Seul le suivi de la date de dernière publication le révèle.

Pourquoi une série temporelle rétrospective surestime la couverture passée

Soit une mesure classique : le nombre de sources ayant couvert un sujet, année par année, sur cinq ans. La façon naturelle de la produire consiste à interroger le référentiel actuel, à parcourir les archives des sources qu'il contient, puis à compter. La méthode est fausse dans une direction prévisible.

Le taux de couverture obtenu pour les années anciennes est trop élevé. La raison tient au dénominateur : il ne retient que des sources qui ont tenu jusqu'à aujourd'hui, les plus régulières et les mieux dotées. Ce sont précisément celles qui traitent le plus de sujets. Rapporter les occurrences relevées à ce dénombrement de survivantes revient à mesurer une population d'élite et à en tirer une moyenne présentée comme générale.

Le même mécanisme joue sur la profondeur d'archive. Une source encore vivante a consolidé ses archives, corrigé ses liens et maintenu son indexation ; une source disparue laisse un fonds éparpillé, souvent absent des index. Mesurer ce qui était trouvable en 2021 depuis les archives consultables en 2026 crédite le passé d'une accessibilité qu'il n'avait pas. La couverture reconstituée paraît plus dense et mieux organisée que celle réellement disponible à l'époque.

Deux effets de sens opposé se combinent. En valeur absolue, le nombre de sources recensées pour une année ancienne est trop bas, puisque les disparues manquent. En taux et en qualité apparente, la couverture est trop haute, puisque seules les meilleures restent au dénominateur. Une série non corrigée cumule les deux distorsions et produit un artefact caractéristique : une évolution qui décrit surtout la mortalité du référentiel.

Une série qui ne documente pas la disparition de ses sources ne mesure pas la couverture : elle mesure la survie du référentiel.

Figer l'état du référentiel à chaque période mesurée

La parade est méthodologique avant d'être technique. Elle consiste à cesser de mesurer le passé avec le référentiel du présent, et à reconstituer pour chaque période l'état du référentiel tel qu'il était alors. Chaque point de la série est calculé sur son propre référentiel, daté et gelé.

Cela impose de conserver les versions successives au lieu d'écraser l'état précédent. Une source retirée n'est pas supprimée : elle est marquée inactive à partir d'une date de constat, avec le motif et la forme de disparition observée. Le référentiel devient un objet historisé : toute requête y porte un paramètre de date. La question n'est plus quelles sources couvrent ce sujet, mais quelles sources le couvraient au moment considéré.

La discipline a un coût : elle alourdit la tenue du référentiel, exige une date de constat pour chaque changement d'état et interdit les nettoyages massifs du stock. En contrepartie, elle rend légitimes les comparaisons entre périodes, ce qu'aucune correction statistique appliquée après coup n'obtient. Un biais de sélection ne se rattrape pas à la sortie, il se prévient à la collecte.

Publier le taux d'attrition comme indicateur à part entière

La seconde partie de la parade consiste à publier l'attrition au lieu de la masquer. Le taux d'attrition, part des sources présentes au début d'une période et absentes à sa fin, accompagne toute série produite sur un référentiel. Il joue le rôle d'un intervalle de confiance qualitatif : plus il est élevé, moins la comparaison entre le premier et le dernier point est solide.

Publier ce taux transforme un défaut caché en information utile. Il indique l'ampleur de la correction implicite, autorise la comparaison de la stabilité de plusieurs domaines et révèle ce que la série principale masque. Un secteur dont l'attrition s'accélère traverse une recomposition de son paysage éditorial, et ce fait vaut souvent davantage que la variation de couverture elle-même. Nous le ventilons par forme de disparition, car les trois ne racontent pas la même histoire.

L'entretien d'un référentiel historisé à cette échelle relève de l'infrastructure. NewsCore (www.newscore.fr) surveille en continu l'état de millions de sources, horodate chaque changement et conserve la trace des titres qui cessent de publier, ce qui rend l'attrition mesurable au lieu de la laisser invisible. Le choix des périodes, des définitions et des seuils reste une décision méthodologique.

Limites et reproductibilité de la méthode

La méthode a ses limites. La reconstitution d'un référentiel passé n'est exacte que pour les périodes durant lesquelles l'historisation était déjà en place ; en amont, elle reste approximative, et l'approximation doit être signalée. L'arrêt silencieux ne se constate qu'avec un décalage : il faut attendre assez longtemps pour distinguer une pause éditoriale d'un arrêt définitif.

La reproductibilité impose de documenter trois éléments : la date de gel retenue pour chaque point, le seuil d'inactivité exprimé en mois sans publication, et le traitement des fusions de titres, qui ne sont ni tout à fait des disparitions ni tout à fait des continuités. Deux équipes aux conventions différentes obtiendront des séries différentes à partir des mêmes données.

Questions fréquentes

Qu'est-ce que le biais de survie appliqué aux sources ? C'est la distorsion introduite par le fait qu'un référentiel ne recense que les sources encore existantes. Les sources fermées, migrées sans redirection ou arrêtées silencieusement en sont absentes, ce qui fausse toute mesure portant sur une période antérieure.

Pourquoi la couverture passée apparaît-elle surestimée ? Parce que le dénominateur ne retient que les sources ayant survécu, les plus régulières et les mieux dotées, celles dont les archives sont les mieux tenues. La couverture reconstituée sur cette population dépasse celle du paysage réellement en place à l'époque.

Comment corriger ce biais dans une série temporelle ? En figeant l'état du référentiel à chaque période mesurée, au lieu d'appliquer le référentiel actuel à toutes les années. Chaque point est calculé sur son propre référentiel daté, et le taux d'attrition est publié avec la série.

Comment repérer une source qui a cessé de publier sans fermer ? Aucune vérification technique ne la signale, puisque le site répond normalement. Seul le suivi de la date de dernière publication la révèle, avec un seuil d'inactivité conventionnel annoncé en même temps que les résultats.