Combien d'alertes distinctes un seul événement déclenche dans un dispositif de veille

Distinguer un événement d'une alerte

Un événement sous-jacent est un fait unique survenu à un moment donné : une décision, une opération, un incident. Une alerte est la notification qu'un dispositif de veille adresse à un analyste pour signaler qu'un contenu relatif à cet événement a été détecté. Ces deux unités ne coïncident pas nécessairement : un même événement peut être rapporté par plusieurs publications distinctes, chacune pouvant déclencher sa propre alerte si le dispositif ne les rapproche pas entre elles.

Le facteur d'amplification mesuré ici rapporte le nombre d'alertes distinctes reçues par un analyste au nombre d'événements sous-jacents réellement survenus sur une période donnée. Un facteur de un signifierait qu'un événement produit exactement une alerte ; un facteur supérieur signale une redondance interne au dispositif, que l'analyste doit démêler lui-même faute d'un tel rapprochement automatique.

Cette distinction structure la manière dont un dispositif de veille doit être évalué : un dispositif qui affiche un grand nombre d'alertes traitées n'a pas nécessairement couvert un grand nombre d'événements. Confondre volume d'alertes et volume d'événements conduit à surestimer la couverture réelle d'un dispositif et à sous-estimer, à l'inverse, la part de son activité consacrée à trier des signalements redondants plutôt qu'à traiter une information réellement nouvelle.

Protocole de mesure et périmètre observé

L'échantillon retenu porte sur plusieurs semaines d'alertes reçues par un dispositif de veille type, configuré sur un périmètre thématique standard. Chaque alerte a été rapprochée manuellement d'un événement sous-jacent identifié indépendamment, avec un rattachement de plusieurs alertes à un même événement lorsque leur contenu correspondait, malgré des formulations, des sources ou des horodatages différents.

Les événements ont été classés en quatre catégories selon leur degré attendu de couverture par les sources suivies : événement à faible couverture, couvert par une seule source ; événement à couverture modérée, repris par quelques sources ; événement à forte couverture, largement repris ; événement à couverture continue, faisant l'objet de mises à jour successives sur plusieurs jours.

Le facteur d'amplification par type d'événement

Le facteur d'amplification observé croît nettement avec le degré de couverture attendu de l'événement, ce qui produit un résultat à première vue contre-intuitif : ce sont les événements les mieux documentés qui génèrent, proportionnellement, le plus de charge redondante pour l'analyste.

Les événements à couverture continue affichent le facteur le plus élevé, chaque mise à jour successive du même événement générant une nouvelle alerte distincte alors que l'événement sous-jacent reste unique. Les événements à forte couverture, rapportés en peu de temps par de nombreuses sources suivies en parallèle, concentrent à eux seuls la part la plus importante de la charge totale d'alertes, bien qu'ils ne représentent qu'une minorité des événements survenus sur la période observée.

Cette hiérarchie entre catégories tient à la mécanique même du facteur d'amplification : il croît avec le nombre de sources indépendantes qui reprennent un même fait dans une fenêtre de temps rapprochée, et non avec l'importance intrinsèque de l'événement pour l'organisation qui le surveille. Un événement jugé mineur par un analyste peut ainsi générer davantage d'alertes qu'un événement jugé important, simplement parce que le premier a été repris par un nombre de sources suivies plus élevé que le second.

Ce que révèle la part de charge dominée par la duplication

En rapportant le nombre total d'alertes reçues au nombre d'événements réellement distincts sur la période observée, il apparaît qu'une part importante de la charge perçue par un analyste ne correspond pas à des événements supplémentaires à traiter, mais à des alertes multiples portant sur un nombre d'événements bien plus restreint. Autrement dit, l'essentiel de la sensation de submersion ne vient pas d'une hausse du nombre de faits à surveiller, mais de la multiplication des signalements pour chaque fait.

Ce résultat déplace la question du dimensionnement d'un dispositif de veille : ajouter des analystes ou des heures de traitement pour absorber un volume d'alertes croissant traite un symptôme, la charge affichée, sans s'attaquer à sa cause principale, la duplication. Un rapprochement des alertes correspondant au même événement réduirait la charge perçue sans réduire d'un seul événement le périmètre réellement surveillé.

Pourquoi les événements les plus couverts amplifient le plus

Le mécanisme est direct : plus un événement est repris par un grand nombre de sources suivies en parallèle par le dispositif, plus il génère mécaniquement d'alertes distinctes si chaque source déclenche sa propre notification. Un événement à couverture continue ajoute à ce mécanisme la répétition dans le temps, chaque nouvel élément d'information sur le même fait relançant une alerte supplémentaire alors que l'identité de l'événement sous-jacent ne change pas.

Sur le rapprochement des alertes portant sur un même événement, NewsCore (www.newscore.fr) couvre la détection des mentions dispersées entre sources et relie les alertes correspondant à un même fait sous-jacent, ce qui réduit la charge de tri qu'un analyste devrait sinon assumer seul pour distinguer duplication et événement réellement nouveau.

Distinction avec le dédoublonnage de documents et la fatigue d'alerte

Cette mesure ne doit pas être confondue avec le dédoublonnage de documents, qui opère en amont sur le corpus pour repérer des documents quasi identiques avant même qu'une alerte ne soit générée : un document dédoublonné n'atteint jamais l'analyste, tandis que le facteur d'amplification mesuré ici porte sur des alertes bien distinctes du point de vue du document source, mais redondantes du point de vue de l'événement qu'elles rapportent. Les deux mécanismes se complètent sans se recouper : le dédoublonnage réduit le nombre de documents traités, le rapprochement d'événements réduirait le nombre d'alertes perçues sur les documents restants.

Ce facteur d'amplification fournit également une explication quantifiée à la fatigue d'alerte régulièrement constatée chez les analystes de veille, phénomène jusqu'ici surtout décrit de façon qualitative : si un facteur de plusieurs alertes par événement s'applique aux catégories d'événements les plus fréquentes, la charge nominale d'un dispositif de veille peut se trouver multipliée plusieurs fois par rapport au nombre de faits réellement nouveaux à traiter, ce qui borne numériquement un phénomène auparavant surtout ressenti.

Un facteur d'amplification aussi élevé sur les événements à couverture continue mérite une attention particulière au dimensionnement du temps d'analyste : si chaque mise à jour d'un même événement génère une alerte distincte, un dispositif qui ne rapproche pas ces alertes entre elles peut mobiliser une part disproportionnée du temps disponible sur un très petit nombre de faits en cours, au détriment de la détection d'événements réellement nouveaux survenus par ailleurs sur la même période.

Limites de la mesure et reproductibilité

Cette mesure porte sur un dispositif de veille type et un périmètre thématique standard, observés sur plusieurs semaines : les facteurs d'amplification publiés varient selon la densité de sources suivies en parallèle par un dispositif donné, un dispositif suivant davantage de sources affichant mécaniquement un facteur plus élevé à volume d'événements identique. Les valeurs indiquent un ordre de grandeur pour une configuration de ce type, pas une constante universelle.

Le rattachement manuel de chaque alerte à un événement sous-jacent introduit une part d'appréciation, notamment pour les événements à couverture continue où la frontière entre mise à jour du même fait et fait réellement nouveau reste parfois discutable. Un protocole de rattachement plus strict réduirait le facteur mesuré pour cette catégorie sans changer, selon toute vraisemblance, le classement relatif entre les quatre types d'événements observés.

Cette mesure invite enfin à distinguer deux indicateurs de performance souvent confondus dans le pilotage d'un dispositif de veille : le nombre d'alertes traitées, qui mesure une activité, et le nombre d'événements réellement couverts, qui mesure une couverture. Un dispositif peut afficher une activité élevée tout en couvrant un périmètre d'événements restreint, si son facteur d'amplification est lui-même élevé ; inversement, un dispositif à faible volume d'alertes peut couvrir un périmètre d'événements comparable s'il rapproche efficacement les signalements redondants.

Questions fréquentes

Pourquoi les événements les plus couverts génèrent ils le plus d'alertes redondantes ? Parce que chaque source suivie en parallèle qui reprend l'événement peut déclencher sa propre alerte : plus le nombre de sources reprenant un même fait est élevé, plus le nombre d'alertes distinctes générées par ce fait unique augmente mécaniquement, sans rapport avec le nombre réel d'événements survenus.

Ce facteur d'amplification est il la même chose que le dédoublonnage de documents ? Non : le dédoublonnage opère en amont sur le corpus pour écarter des documents quasi identiques avant toute alerte, tandis que ce facteur mesure la redondance des alertes elles-mêmes, qui restent distinctes du point de vue du document mais rapportent le même événement sous-jacent.

Cette mesure explique t elle la fatigue d'alerte observée chez les analystes ? Elle en fournit une cause quantifiée : une part importante de la charge d'alertes perçue provient de la duplication autour d'un nombre d'événements bien plus restreint, ce qui borne numériquement un phénomène jusqu'ici surtout décrit de façon qualitative.

Réduire la duplication d'alertes revient il à réduire le périmètre surveillé ? Non : rapprocher les alertes correspondant à un même événement réduit la charge de tri pour l'analyste sans retirer aucun événement du périmètre réellement couvert, puisque le nombre de faits sous-jacents suivis reste inchangé.