Dataset des indicateurs de délai de détection relevés dans les dispositifs de veille
Six indicateurs de délai de détection, leur horloge de départ, leur borne d'arrivée et leurs biais connus : schéma du dataset, règles de datation et conditions de réutilisation.
À retenir
- Le dataset recense des définitions d'indicateurs et leurs règles de calcul, pas des valeurs mesurées : il sert à rendre les mesures comparables entre dispositifs.
- Un délai de détection n'existe pas sans deux bornes explicites : un événement de départ daté et une borne d'arrivée observable.
- Quatre segments élémentaires, collecte, indexation, qualification, diffusion, se composent en un délai bout en bout et en un délai depuis la première trace publique.
- Les règles de datation, fuseau unique, exclusion des dates douteuses, traitement des republications, comptent autant que la définition des indicateurs.
L'expression délai de détection circule dans toutes les présentations de dispositifs de veille, et presque jamais avec la même définition. Selon l'interlocuteur, elle désigne le temps mis par un robot pour capter une page, le temps écoulé avant qu'un analyste ne signale un fait, ou la durée séparant un événement de sa perception par une direction. Ces trois grandeurs varient d'un facteur considérable, si bien que deux organisations comparant leurs délais comparent en réalité des objets différents.
Ce dataset répond à ce problème de vocabulaire par un travail de définition. Il recense les indicateurs de délai employés dans les dispositifs de veille, en fixant pour chacun un événement de départ, une borne d'arrivée, une unité, un mode de calcul et les biais connus qui affectent sa mesure. Il ne publie pas de valeurs : son objet est de rendre les mesures comparables, condition sans laquelle aucun chiffre de délai n'a de sens hors de l'organisation qui le produit.
Ce que recense ce dataset : des définitions d'indicateurs, pas des valeurs
Un dataset de définitions se distingue d'un dataset de mesures par ce qu'il rend possible. Le second permet de situer une organisation par rapport à une distribution. Le premier permet de savoir si deux mesures parlent de la même chose, ce qui doit précéder toute comparaison. Publier des valeurs sans référentiel de définitions produit des classements dénués de signification, où l'écart observé traduit un choix de borne plutôt qu'une différence de performance.
Chaque entrée du dataset décrit donc un indicateur et non une organisation. Elle porte un identifiant stable, un libellé, une définition en une phrase, l'événement de départ, la borne d'arrivée, l'unité retenue, la granularité d'observation, le mode d'agrégation recommandé, la population de référence et la liste des biais documentés. Cette structure est délibérément proche de celle des dictionnaires de données utilisés en statistique publique, pour que les entrées soient reprises telles quelles dans un référentiel interne.
Délai de détection : définition stricte, horloge de départ, borne d'arrivée
La définition retenue est la suivante : le délai de détection est la durée séparant l'instant où une information devient disponible hors de l'organisation de l'instant où elle parvient, qualifiée comme pertinente, à une personne en situation d'en tenir compte. Deux exigences en découlent. L'événement de départ doit être daté par un tiers, pas par le dispositif, sans quoi la mesure se juge elle-même. La borne d'arrivée doit être observable, c'est-à-dire correspondre à une trace, réception d'une alerte, ouverture d'une note, accusé de lecture.
Cette définition écarte volontairement deux usages courants. Elle ne compte pas le délai à partir du moment où l'événement s'est produit, puisqu'un fait non publié n'est pas détectable par un dispositif en sources ouvertes. Elle ne s'arrête pas à la disponibilité technique de l'information dans un outil, puisqu'une information disponible et non qualifiée n'a jamais changé une décision. Entre ces deux bornes se logent les quatre segments élémentaires que le dataset isole.
Les six indicateurs retenus et leur horloge de référence
Six indicateurs suffisent à décrire un dispositif complet. Quatre sont élémentaires et se succèdent sans recouvrement, ce qui autorise leur addition. Deux sont composés et s'emploient pour le pilotage, l'un mesurant la chaîne entière depuis la publication, l'autre depuis la première trace publique quelle qu'en soit la source.
| Indicateur | Événement de départ | Borne d'arrivée |
|---|---|---|
| Délai de collecte | Publication par l'éditeur de la source | Capture par le dispositif |
| Délai d'indexation | Capture par le dispositif | Disponibilité dans l'outil de recherche |
| Délai de qualification | Disponibilité dans l'outil | Décision de pertinence datée |
| Délai de diffusion | Décision de pertinence datée | Réception par le destinataire désigné |
| Délai de détection bout en bout | Publication par l'éditeur de la source | Réception par le destinataire désigné |
| Délai depuis la première trace | Première trace publique exploitable | Réception par le destinataire désigné |
Le sixième indicateur mérite un mot, car il est le plus exigeant et le plus instructif. Il suppose de rechercher a posteriori la trace la plus ancienne d'un fait, quelle que soit la source où elle figure, y compris hors du périmètre surveillé. L'écart entre le cinquième et le sixième indicateur mesure exactement ce que le périmètre de sources laisse passer. Un dispositif rapide sur son propre périmètre et lent sur la première trace publique a un problème de couverture, non un problème de vitesse.
Ce que ces indicateurs ne mesurent pas : réaction, fenêtre d'action, matérialisation
Trois notions voisines sont régulièrement confondues avec le délai de détection, et le dataset les exclut explicitement. Le temps de réaction court à partir de la réception de l'information et mesure la décision, non la détection : il relève de la gouvernance de l'organisation. La fenêtre d'action est la durée pendant laquelle une décision reste utile, propriété de l'événement et non du dispositif. Le délai de matérialisation sépare le premier signal disponible de la survenue du risque, et se mesure uniquement de façon rétrospective.
Cette séparation a une conséquence pratique immédiate. Une organisation qui constate un délai bout en bout satisfaisant et se juge tout de même surprise par les événements n'a pas un problème de veille, mais un problème de réaction ou de cadrage du périmètre. Inversement, un temps de réaction excellent ne compense jamais une détection tardive, puisque la fenêtre d'action a déjà été entamée. Publier les deux indicateurs côte à côte évite d'imputer au dispositif de veille des difficultés qui relèvent de la décision.
Un délai n'existe pas sans ses deux bornes : tant que l'événement de départ n'est pas daté par un tiers, la mesure ne fait que refléter le fonctionnement de l'outil qui la produit.
Schéma des champs, règles de datation et cas limites
Chaque entrée du dataset comporte onze champs : identifiant stable, libellé, définition, événement de départ, borne d'arrivée, unité exprimée en heures, granularité d'observation, mode d'agrégation, population de référence, biais connus et version. Le mode d'agrégation recommandé est la médiane accompagnée du neuvième décile, jamais la moyenne seule : les distributions de délais sont fortement asymétriques, et une poignée de cas très lents déplace une moyenne au point de la rendre inutilisable pour le pilotage.
Les règles de datation comptent autant que les définitions. Toutes les dates sont ramenées à un fuseau unique et arrondies à la minute. Les documents dont la date de publication est postérieure à la date de capture sont exclus plutôt que corrigés, car l'anomalie signale une horloge non fiable. Les republications sont ramenées à leur première occurrence connue. Les documents sans date exploitable sont écartés du calcul et comptabilisés à part, leur proportion étant publiée avec le résultat : un délai calculé sur la moitié du corpus doit être lu comme tel.
Restent les cas limites, dont le traitement doit être arrêté avant la mesure. Un même fait capté simultanément par plusieurs sources est daté par la plus ancienne. Une information reçue hors dispositif, par un appel ou un partenaire, entre dans le sixième indicateur et sort des quatre indicateurs élémentaires. Un document révisé après publication conserve la date de sa version initiale si le fait mesuré y figurait déjà. Ces règles ne sont pas les seules possibles : elles doivent seulement être écrites et appliquées de la même façon d'une campagne à l'autre.
Limites, versionnement et conditions de réutilisation
La première limite est celle de tout référentiel de définitions : il n'assure pas la qualité des données auxquelles il s'applique. Une organisation appliquant scrupuleusement ces définitions à des horodatages approximatifs produira des chiffres rigoureusement faux. La seconde limite tient à la borne d'arrivée : la réception par un destinataire est plus difficile à horodater qu'une capture technique, et beaucoup de dispositifs devront se contenter d'une approximation, à condition de le déclarer. La troisième est la variabilité des tempos de publication selon les gisements, qui rend hasardeuse toute comparaison entre dispositifs surveillant des corpus différents.
Le dataset est versionné, chaque modification de définition entraînant un changement de version et une entrée de journal, afin qu'une mesure publiée reste rattachable à la définition en vigueur au moment du calcul. Il est mis à disposition sous licence Creative Commons attribution, réutilisable pour construire un référentiel interne à condition de citer la source. La comparaison entre organisations reste toutefois déconseillée tant que les corpus surveillés diffèrent : l'usage recommandé est la comparaison d'un dispositif avec lui-même dans le temps.
Pour les équipes qui souhaitent réduire les segments amont, la marge se situe presque toujours sur la collecte et la qualification. NewsCore (www.newscore.fr) couvre en continu des millions de sources en plusieurs langues, trie les résultats par pertinence et fait remonter les signaux en temps réel avec le lien vers la publication d'origine. La borne d'arrivée, elle, dépend de l'organisation destinataire : c'est elle qui fixe qui reçoit quoi, et à quelle échéance une information cesse d'être utile.
Questions fréquentes
Qu'est-ce que le délai de détection dans une veille ?
C'est la durée séparant le moment où une information devient disponible hors de l'organisation du moment où elle parvient, qualifiée comme pertinente, à une personne en situation d'en tenir compte. Cette définition exclut deux raccourcis fréquents : elle ne part pas de la survenue du fait, qui n'est pas observable en sources ouvertes tant qu'il n'est pas publié, et elle ne s'arrête pas à la présence du document dans un outil, puisqu'un document non lu et non qualifié ne produit aucun effet sur une décision.
Comment calculer un délai de détection sans horodatage fiable ?
En restreignant la mesure à un sous-ensemble de sources dont la datation est sûre, plutôt qu'en corrigeant les dates douteuses. Les registres officiels, les portails institutionnels et les dépôts réglementaires portent des dates d'acte fiables et constituent une bonne base de calcul. Le résultat obtenu ne vaut alors que pour ce sous-ensemble, ce qui doit être précisé, mais il est comparable dans le temps. Imputer une date manquante par la date de capture revient à mesurer un délai nul et à flatter artificiellement le dispositif.
Faut-il publier une moyenne ou une médiane des délais observés ?
La médiane, accompagnée du neuvième décile. Les distributions de délais comportent presque toujours une queue longue faite de sources lentes, de gisements interrogés rarement et de documents traités en différé, qui tire la moyenne vers le haut sans décrire l'expérience courante. La médiane décrit le cas typique, le neuvième décile décrit le mauvais jour, et c'est ce couple qui pilote réellement un dispositif. Publier une moyenne seule expose à des variations spectaculaires provoquées par une poignée de cas atypiques.