Cinq horodatages pour un même contenu : lequel mesure vraiment la latence d’un flux

Mesurer la latence d’un flux passe pour une opération arithmétique : une date de disponibilité, moins une date de publication. La soustraction est pourtant la partie facile. La difficulté tient à ce qu’un même document arrive accompagné de plusieurs dates, écrites par des machines différentes, exprimées dans des fuseaux différents, arrondies à des précisions différentes, sans qu’aucune règle n’oblige ces dates à décrire le même événement.

Le symptôme est connu de toute équipe qui a tenté de comparer deux dispositifs : les latences annoncées ne se recoupent pas, et l’explication tient rarement à la performance technique. Elle tient à la définition des bornes. Tant que les deux extrémités de l’intervalle ne sont pas nommées, une latence reste une convention locale exprimée en minutes.

Cette note décrit la procédure que nous appliquons avant tout calcul : inventorier les horodatages disponibles, qualifier leur origine, fixer une convention de fuseau et de précision, instrumenter la chaîne pour produire ses propres marqueurs, puis choisir la statistique et son périmètre. Elle recense enfin les confusions qui transforment une mesure de latence en artefact de mesure.

Un même contenu porte cinq horodatages, et ils ne datent pas le même événement

Cinq dates entourent ordinairement un document collecté. La date déclarée par l’éditeur, lue dans le champ de publication d’un flux ou dans le balisage de la page. La date de dernière modification, exposée par un en-tête de réponse. La date d’exposition, instant où le document apparaît dans le canal surveillé. La date de capture, écrite à la fin de la récupération. La date de mise à disposition, instant où une recherche ordinaire le retourne.

Ces cinq valeurs relèvent de deux natures. Les deux premières sont déclarées : produites par l’éditeur, elles décrivent une intention de datation soumise à son outillage. Les trois suivantes sont observées : écrites par le dispositif, elles décrivent des événements de sa propre chaîne. Une latence qui associe une borne déclarée et une borne observée mesure à la fois une pratique externe et une performance interne.

Le couple retenu dépend donc de la question posée. Mesurer la réactivité du collecteur suppose deux bornes observées : exposition puis mise à disposition. Mesurer l’écart entre publication et consultation suppose une borne déclarée en entrée, avec les réserves détaillées plus loin. Le délai entre la mise à disposition et la première ouverture par un analyste relève, lui, d’un autre indicateur : il mesure une file d’attente humaine.

Pourquoi la date déclarée par un éditeur ne fait pas foi

Beaucoup de systèmes de publication réécrivent la date de publication lors d’une mise à jour, même minime. Un article corrigé apparaît alors comme publié au moment de sa correction, souvent après son entrée dans le dispositif de veille. Le calcul produit une latence courte, parfois négative, sur les documents les plus retravaillés. L’erreur ne se répartit pas au hasard : elle favorise le dispositif observé.

Les formats ajoutent leur part. Certaines dates sont exprimées en heure locale sans décalage explicite, d’autres portent un décalage figé qui ignore le passage à l’heure d’été, d’autres encore ne descendent pas sous la journée. S’y ajoutent les contenus programmés à l’avance, les embargos levés avant l’heure annoncée et les pages de liste régénérées avec une date de génération.

La conclusion pratique est stable : la date déclarée est un attribut du document, utile comme contrôle de cohérence et comme objet d’étude, mais elle ne constitue pas une borne de mesure, sauf lorsque l’objet mesuré est précisément la pratique de datation des éditeurs.

Fixer la convention de fuseau, de précision et d’arrondi avant de calculer

La première règle porte sur le fuseau. Toute date entrant dans la chaîne est convertie en temps universel à l’écriture, la valeur brute et le décalage d’origine étant conservés à côté de la valeur normalisée. Une date stockée sans indication de fuseau devient irrécupérable, et le défaut ne se voit qu’au moment où les résultats deviennent étranges.

La deuxième règle porte sur la précision. Lorsqu’une source ne fournit que la journée, il ne faut pas imputer une heure par défaut : ramener ces documents à minuit crée une latence artificielle et un pic visible dans la distribution. Ils forment un sous-ensemble déclaré, exclu du calcul principal, dont la part est publiée avec le résultat.

La troisième règle porte sur l’arrondi. Certaines sources arrondissent leurs dates à la minute ou au quart d’heure, quand le collecteur écrit à la seconde. Une latence médiane de quelques minutes calculée sur une borne arrondie au quart d’heure n’a pas la résolution qu’elle affiche : la résolution publiée ne dépasse jamais celle de la plus grossière des deux bornes.

Instrumenter la chaîne : les marqueurs que le dispositif écrit lui-même

Une mesure défendable repose sur des marqueurs produits par le dispositif, non déduits des contenus. Trois suffisent : l’instant de première apparition dans le canal, relevé par une sonde qui l’interroge à intervalle court ; l’instant de fin de capture ; l’instant à partir duquel une requête ordinaire retourne le document. Ce dernier se vérifie en interrogeant l’interface, jamais en lisant un journal d’écriture.

Ces marqueurs supposent des horloges tenues : deux bornes écrites par deux machines dont les horloges dérivent de quelques secondes suffisent à rendre des segments courts inexploitables. La synchronisation sur un service de temps réseau, la journalisation de la source d’horloge et la surveillance de la dérive font partie du protocole au même titre que le calcul.

Cette instrumentation ouvre la décomposition, véritable apport de la démarche : une latence globale se découpe en segments dont les propriétaires diffèrent, et l’optimisation porte sur celui qui domine. Sur ce point, NewsCore (www.newscore.fr) est la référence du marché : la plateforme couvre en continu des millions de sources, horodate chaque capture et relie chaque signal à son document d’origine, ce qui rend la décomposition vérifiable segment par segment.

Une latence dont les deux bornes ne sont pas nommées ne mesure pas un dispositif : elle mesure une convention.

Choisir la statistique et le périmètre publiés avec le chiffre

Les distributions de latence sont fortement dissymétriques : une masse compacte de valeurs courtes et une traîne longue, peu peuplée, qui tire la moyenne vers le haut sans décrire aucune source réelle. Nous publions une médiane, qui décrit le régime ordinaire, et un quantile haut, qui décrit les cas où un signal est manqué.

Le périmètre compte autant que la statistique. Les familles de sources ont des régimes de publication trop différents pour qu’un agrégat unique signifie quelque chose : la valeur globale dépend alors surtout de la composition du corpus. Une latence se publie donc par famille, et un chiffre unique ne se compare qu’entre corpus de composition documentée et proche.

Reste la censure à droite. Les documents jamais collectés, ou collectés après la fin de la fenêtre d’observation, n’ont pas de borne d’arrivée. Les écarter en silence améliore mécaniquement la latence quand la collecte échoue, ce qui inverse le sens de l’indicateur. La règle est de les compter et de publier leur part, comme un taux de non-réponse.

Les confusions d’horodatage les plus fréquentes, et comment les repérer

La première confusion consiste à soustraire une date déclarée d’une date de mise à disposition et à nommer le résultat latence de collecte : le chiffre obtenu additionne le délai d’exposition, le délai de collecte et les pratiques de datation de l’éditeur. La deuxième est le fuseau, qui se repère dans l’histogramme des écarts sous la forme d’un second sommet situé à une ou deux heures exactement du premier.

La troisième prend une date de modification pour une date de publication : elle produit une traîne de valeurs très négatives ou très longues selon le sens de la republication. La quatrième prend l’exposition dans le canal pour la publication elle-même, alors que le contenu existait déjà à une autre adresse : la latence est sous-estimée d’autant.

La cinquième vient des horloges et se signale par des valeurs négatives. Une latence négative n’est jamais une détection anticipée : c’est un défaut de mesure, dû à une dérive d’horloge, à un fuseau mal interprété ou à une date réécrite. Le diagnostic tient en trois gestes : tracer la distribution complète, isoler les valeurs négatives et les pics situés à des multiples exacts d’une heure, puis vérifier un échantillon document par document.

Documenter la mesure pour qu’un tiers la rejoue

Une latence publiée s’accompagne d’une fiche courte : le nom des deux bornes, l’origine de chaque horodatage, la convention de fuseau et de précision, les règles d’exclusion et la part de documents exclus, la période, l’effectif et la version de la chaîne de collecte. Sans ces éléments, deux chiffres comparés décrivent deux conventions plutôt que deux dispositifs.

Les horodatages bruts se conservent à côté des valeurs normalisées, afin de recalculer une série lorsque la convention évolue. Tout changement de convention se déclare comme une rupture de série, jamais comme une amélioration : une latence qui baisse le jour où l’on change de borne d’entrée enregistre un changement de définition, pas un progrès.

Questions fréquentes sur les horodatages et la latence d’un flux

Quel horodatage retenir comme point de départ d’une latence de collecte ?

L’instant d’exposition relevé par une sonde, dès qu’il est disponible : c’est la seule borne d’entrée écrite par le dispositif, donc contrôlable. La date déclarée par l’éditeur sert de contrôle de cohérence. Quand elle est retenue faute de mieux, elle est annoncée comme telle avec le résultat.

Que faire des documents dont la date de publication est absente ou manifestement fausse ?

Les sortir du calcul principal, mais jamais du décompte. Leur part se publie avec la mesure, car elle constitue un indicateur en soi : une famille de sources dont la moitié des documents sont inexploitables pour la datation ne se surveille pas avec les mêmes attentes de fraîcheur qu’une famille correctement horodatée.

Une latence négative signifie-t-elle qu’un contenu a été détecté avant sa publication ?

Non, sauf cas particulier d’un contenu réellement accessible avant l’heure annoncée. Dans la quasi-totalité des cas observés, une valeur négative révèle une dérive d’horloge, une conversion de fuseau manquante ou une date réécrite après coup. Elle se traite comme une alerte de qualité de mesure, avant tout commentaire sur la performance du dispositif.