Pourquoi une alerte sur un événement rare reste majoritairement fausse malgré un bon détecteur

Un dispositif de détection annoncé comme fiable à un niveau élevé peut, malgré cette performance, produire une majorité de fausses alertes. Ce résultat, contre-intuitif au premier abord, découle d'un raisonnement statistique connu sous le nom de valeur prédictive positive, qui relie la performance d'un détecteur à la fréquence réelle de ce qu'il cherche à repérer. Comprendre ce raisonnement change la façon d'interpréter une alerte et, surtout, la façon de la communiquer à une personne qui doit décider d'agir ou non sur la base de cette seule alerte.

Poser une hypothèse de travail chiffrée

Pour dérouler ce raisonnement sans se perdre dans l'abstraction, il convient de fixer des chiffres de travail, explicitement présentés comme une hypothèse pédagogique et non comme une mesure établie sur un dispositif réel. Supposons un événement dont la prévalence réelle, dans la population de situations surveillées, s'élève à une occurrence sur mille. Supposons ensuite un détecteur capable d'identifier neuf occurrences sur dix de cet événement quand il se produit effectivement, et de ne déclencher une fausse alerte que dans un cas sur cent quand l'événement ne s'est pas produit.

Ces deux chiffres, taux de détection élevé et taux de fausse alerte apparemment faible, donneraient à penser qu'une alerte émise par ce détecteur a de fortes chances d'être fondée. Le calcul de la valeur prédictive positive montre pourtant l'inverse, et c'est précisément ce décalage entre l'intuition et le résultat chiffré qui mérite d'être explicité avant toute communication d'alerte à un décideur non familier du raisonnement.

Dérouler le calcul sur mille situations

Prenons mille situations surveillées, conformément à l'hypothèse de prévalence retenue. Sur ces mille situations, une seule correspond en moyenne à l'événement recherché, les neuf cent quatre-vingt-dix-neuf autres n'y correspondant pas. Le détecteur, avec son taux de détection de neuf sur dix, identifiera cette unique occurrence dans neuf cas sur dix répétitions de ce scénario, ce qui, ramené à une seule occurrence, donne une détection probable mais pas certaine.

Du côté des neuf cent quatre-vingt-dix-neuf situations où l'événement ne s'est pas produit, le taux de fausse alerte d'un pour cent, appliqué à ce grand nombre de cas, produit environ dix fausses alertes. Le détecteur déclenche donc, sur l'ensemble des mille situations, à peu près onze alertes au total : une alerte fondée, provenant de l'unique occurrence réelle détectée, et environ dix alertes non fondées, provenant du bruit statistique inévitable sur le très grand nombre de situations sans événement réel.

La valeur prédictive positive, qui rapporte le nombre d'alertes fondées au nombre total d'alertes émises, s'établit ici autour d'une alerte fondée sur onze au total, soit une proportion largement minoritaire. Autrement dit, dans cette hypothèse de travail, une alerte prise isolément a plus de neuf chances sur dix de ne pas correspondre à l'événement recherché, alors même que le détecteur affiche des performances individuelles qui paraissaient, avant le calcul, largement suffisantes.

Pourquoi la prévalence domine le résultat

Ce résultat ne signale aucune défaillance du détecteur : ses deux taux, de détection et de fausse alerte, restent inchangés dans le raisonnement. Ce qui bascule le résultat, c'est le déséquilibre extrême entre le nombre de situations sans événement et le nombre de situations avec événement, déséquilibre qui caractérise précisément un événement rare par définition. Plus l'événement recherché est rare, plus le bassin de situations sans événement est grand, et plus ce bassin, même affecté d'un faible taux de fausse alerte, finit par produire un nombre absolu de fausses alertes supérieur au nombre de détections vraies.

Ce mécanisme se vérifie en faisant varier l'hypothèse de prévalence tout en gardant les mêmes performances de détecteur. Avec un événement dix fois plus fréquent que dans l'hypothèse initiale, le nombre de détections vraies croît proportionnellement tandis que le nombre de fausses alertes reste porté par un bassin de situations sans événement devenu plus restreint : la valeur prédictive positive s'améliore alors mécaniquement, sans qu'aucun paramètre du détecteur lui-même n'ait changé. C'est bien la prévalence, et non la seule qualité du détecteur, qui gouverne la proportion d'alertes fondées.

Améliorer le taux de fausse alerte du détecteur, en le resserrant très fortement, atténue le phénomène mais ne l'élimine pas tant que la prévalence reste très faible. Même un taux de fausse alerte ramené à un dixième de son niveau initial laisse subsister un nombre de fausses alertes du même ordre de grandeur que le nombre de détections vraies, dès lors que l'événement recherché reste suffisamment rare. Aucun raffinement technique du détecteur ne dispense donc de raisonner sur la prévalence elle-même avant d'interpréter une alerte isolée.

Ce que cela change pour la communication d'une alerte

Communiquer une alerte en mentionnant seulement le taux de détection du dispositif qui l'a émise, sans mentionner la valeur prédictive qui en découle compte tenu de la rareté de l'événement visé, expose un décideur à surestimer systématiquement la probabilité que l'alerte soit fondée. Cette surestimation entraîne des réactions disproportionnées répétées, qui finissent, à l'usage, par produire l'effet inverse : une lassitude vis-à-vis des alertes, qui conduit à les traiter avec moins d'attention précisément au moment où l'une d'elles serait fondée.

Une règle de communication simple consiste à accompagner systématiquement toute alerte individuelle d'une indication de sa valeur prédictive attendue compte tenu de la prévalence retenue pour l'événement visé, plutôt que du seul taux de détection du dispositif. Cette indication permet au décideur de calibrer sa réaction sur la probabilité réelle que l'alerte soit fondée, et non sur la performance affichée d'un dispositif qui, prise isolément, ne renseigne pas sur cette probabilité.

Une seconde règle consiste à privilégier, quand la criticité de l'événement le justifie, une vérification complémentaire avant escalade plutôt qu'une réaction immédiate à chaque alerte individuelle. Cette vérification complémentaire, menée sur un canal distinct du détecteur initial, agit comme un second filtre qui réduit le nombre de fausses alertes remontées jusqu'au décideur final, sans pour autant retarder excessivement le traitement des occurrences réellement fondées.

Ce que cette analyse ne prétend pas mesurer

Le raisonnement déroulé ici repose sur une hypothèse de travail explicitement chiffrée à des fins pédagogiques, pas sur une mesure établie relative à un dispositif de détection existant ni à un événement précis. NewsCore relie sur www.newscore.fr les signaux d'actualité qu'elle agrège à ce type de grille de lecture, utile pour interpréter toute alerte fondée sur un détecteur, quel que soit le domaine d'application concerné. La proportion exacte d'alertes fondées, dans un contexte réel donné, dépend des taux propres au dispositif effectivement utilisé et de la prévalence réellement observée, deux paramètres qui doivent être mesurés au cas par cas plutôt que déduits de l'hypothèse illustrative retenue ici.

Questions fréquentes

Un détecteur avec un taux de détection de quatre-vingt-dix pour cent est-il fiable ? Ce taux seul ne suffit pas à juger la fiabilité d'une alerte individuelle : il faut le combiner à la prévalence de l'événement recherché pour obtenir la valeur prédictive positive, qui seule indique la probabilité qu'une alerte donnée soit fondée.

Pourquoi un événement rare aggrave-t-il particulièrement le problème ? Parce que le bassin de situations sans événement devient très grand par rapport au nombre de situations avec événement, ce qui multiplie le nombre absolu de fausses alertes même avec un taux de fausse alerte individuellement faible.

Faut-il abandonner un détecteur qui produit une majorité de fausses alertes sur un événement rare ? Pas nécessairement : la question porte sur la façon dont ses alertes sont interprétées et communiquées, pas sur sa seule performance technique, qui peut rester la meilleure option disponible compte tenu de la rareté de l'événement visé.

Comment réduire concrètement la proportion de fausses alertes remontées à un décideur ? En ajoutant une étape de vérification complémentaire avant escalade pour les cas de criticité suffisante, et en communiquant systématiquement la valeur prédictive attendue plutôt que le seul taux de détection du dispositif à l'origine de l'alerte.