Note de méthode : tester la dépendance à une source critique en la coupant volontairement

Un dispositif de veille repose, à un moment donné, sur un ensemble de sources dont l'importance relative n'est en général qu'estimée, rarement mesurée. Cette estimation, fondée sur l'intuition des analystes ou sur la fréquence d'usage observée d'une source, ne dit rien de ce qui se produirait réellement si cette source devenait indisponible, temporairement ou durablement. Seule la coupure volontaire, organisée et bornée dans le temps, d'une source jugée critique permet de constater sa dépendance effective plutôt que de la supposer.

Cette note de méthode décrit le protocole d'un tel exercice de retrait, distinct de deux exercices voisins avec lesquels il ne doit pas être confondu. L'autopsie d'un signal manqué est un exercice rétrospectif, mené après qu'un événement a échappé au dispositif, sur une défaillance subie et non provoquée. Le baromètre de mortalité des sources observe, lui, l'érosion naturelle et progressive d'un référentiel de sources dans le temps, sans intervention délibérée sur cette érosion. L'exercice de retrait ici décrit se distingue des deux par son caractère volontaire, contrôlé et anticipé.

Pourquoi la dépendance ne se constate qu'en la provoquant

Un analyste peut estimer qu'une source est critique parce qu'elle alimente une part importante des signaux traités, mais cette estimation repose sur un usage observé en régime normal, pas sur ce qui se substituerait effectivement à cette source en son absence. Il est fréquent qu'une source jugée indispensable dispose en réalité d'un ou plusieurs substituts partiels, mobilisables rapidement une fois la coupure effective, alors qu'à l'inverse une source jugée secondaire peut se révéler irremplaçable sur un type précis de signal qu'elle est seule à couvrir.

Cette différence entre dépendance perçue et dépendance réelle ne se révèle pas par l'analyse documentaire du rôle de la source, mais par l'observation de ce qui se passe effectivement lorsque la source cesse d'être disponible. C'est cette observation que l'exercice de retrait organise délibérément, plutôt que d'attendre qu'une coupure non anticipée, par exemple un changement d'accès du côté de la source elle-même, ne la révèle dans des conditions non maîtrisées et sans indicateurs préparés à l'avance.

L'intérêt de provoquer la coupure plutôt que de l'attendre tient aussi à la maîtrise du moment choisi. Un exercice planifié peut être conduit pendant une période où les enjeux de veille en cours sont connus et modérés, ce qui limite le coût réel d'une éventuelle défaillance constatée, alors qu'une coupure subie survient sans considération pour le contexte du moment et peut coïncider avec une période de forte sollicitation du dispositif.

Choisir la source et la durée de l'exercice

Le choix de la source à couper doit reposer sur un critère explicite, par exemple le volume de signaux qu'elle alimente en régime normal, ou le caractère jugé unique de la couverture qu'elle assure sur un périmètre donné. Ce choix doit être documenté avant l'exercice, avec la justification de pourquoi cette source précise, et non une autre, a été retenue pour le test, afin que le résultat obtenu puisse être interprété à la lumière de cette justification initiale.

La durée de la coupure doit être fixée à l'avance et suffisamment longue pour révéler des effets qui ne se manifesteraient pas sur une interruption trop brève. Une coupure de quelques heures risque de ne rien montrer d'autre qu'une absence temporaire sans conséquence, alors qu'une coupure prolongée sur plusieurs semaines permet d'observer si des mécanismes de compensation se mettent en place, ou si au contraire un manque persiste sans être comblé par le reste du dispositif.

Cette durée doit rester bornée et connue à l'avance de l'équipe conduisant l'exercice, pour éviter qu'une coupure prolongée au delà du raisonnable ne finisse par créer un préjudice réel de couverture, disproportionné par rapport à l'objectif d'apprentissage recherché par l'exercice.

Indicateurs à relever avant et pendant la coupure

Avant la coupure, une période de référence doit permettre de relever les indicateurs de fonctionnement normal du dispositif sur le périmètre concerné par la source testée, notamment le volume de signaux produits, leur délai moyen de détection et leur taux de confirmation ultérieure. Ces indicateurs de référence sont indispensables pour donner un sens à ce qui sera observé pendant la coupure elle-même.

Pendant la coupure, les mêmes indicateurs doivent être relevés sur le même périmètre, avec une attention particulière portée à l'apparition de mécanismes de compensation spontanés, par exemple un recours accru à d'autres sources déjà disponibles, ou au contraire à des trous de couverture qui persistent sans être comblés jusqu'à la fin de la période de test.

NewsCore couvre sur www.newscore.fr la totalité des sources d'un dispositif de veille et relie chaque signal détecté à la source qui l'a produit, ce qui facilite le relevé des indicateurs de référence nécessaires avant et pendant un exercice de retrait.

Le critère d'échec, fixé avant l'exercice

Un exercice de retrait n'a de valeur que si un critère d'échec a été fixé avant la coupure, permettant de distinguer, une fois l'exercice terminé, une dépendance jugée acceptable d'une dépendance jugée problématique. Ce critère peut porter sur le volume de signaux perdus sans compensation, sur le délai de détection dégradé au delà d'un seuil jugé tolérable, ou sur l'apparition d'un trou de couverture sur un type de signal jugé sensible pour le dispositif.

Fixer ce critère après l'exercice, à la lumière des résultats obtenus, expose au risque de le calibrer pour minimiser artificiellement la dépendance constatée, ce qui viderait l'exercice de son intérêt. Le critère doit donc être documenté avant la coupure, au même titre que le choix de la source et la durée retenue, et communiqué à l'ensemble de l'équipe qui interprétera les résultats une fois l'exercice achevé.

Lorsque le critère d'échec est atteint, l'exercice doit déboucher sur des mesures correctives documentées, par exemple l'identification d'une source de substitution à intégrer au dispositif ou le renforcement d'un mécanisme de veille alternatif sur le périmètre concerné. Un exercice qui révèle une dépendance sans que le dispositif en tire de correction reste un constat sans effet sur la résilience réelle.

Restituer les résultats et décider de la suite

Une fois la période de coupure achevée, la source testée doit être rétablie et les indicateurs relevés pendant l'exercice comparés méthodiquement à ceux de la période de référence antérieure à la coupure. Cette restitution gagne à être formalisée dans un document bref, distinct du compte rendu courant du dispositif, précisant la source testée, la durée retenue, les indicateurs observés dans les deux périodes et la conclusion tirée au regard du critère d'échec fixé à l'avance.

Cette restitution doit être partagée avec les responsables du dispositif, pas seulement conservée par l'équipe ayant conduit l'exercice, dans la mesure où les mesures correctives éventuellement nécessaires, intégration d'une source de substitution ou renforcement d'un mécanisme alternatif, engagent en général des arbitrages qui dépassent le seul périmètre opérationnel testé. Un exercice dont les résultats restent cantonnés à l'équipe qui l'a mené perd une partie de son utilité pour la résilience d'ensemble du dispositif.

Limites de l'exercice

Un exercice de retrait ne mesure la dépendance à une source qu'au moment où il est conduit, sur un périmètre et une période donnés. Il ne garantit pas que la même dépendance, ou son absence, se vérifiera dans des conditions différentes, par exemple lors d'une période de forte actualité sur le secteur concerné, ce qui invite à renouveler périodiquement ce type d'exercice plutôt qu'à le considérer comme définitivement acquis après une seule occurrence.

L'exercice suppose également un consentement clair de l'organisation à accepter un risque de couverture dégradée pendant sa durée, ce qui implique de le conduire sur des périmètres où ce risque reste supportable, et non sur l'ensemble des sources critiques du dispositif simultanément, sous peine de créer une vulnérabilité réelle plutôt qu'un simple exercice contrôlé.

Questions fréquentes

Un exercice de retrait est il la même chose qu'une autopsie de signal manqué ? Non, l'autopsie est rétrospective et porte sur une défaillance subie après coup, alors que l'exercice de retrait est prospectif, planifié et volontaire, conduit avant qu'aucune défaillance réelle ne survienne.

Faut il informer l'ensemble des analystes qu'un exercice de retrait est en cours ? Cela dépend du dispositif, mais informer au moins l'équipe directement concernée par le périmètre testé permet d'éviter une confusion entre un manque réel non lié à l'exercice et l'effet volontaire de la coupure en cours.

Combien de sources critiques faut il tester par exercice ? Une seule à la fois est recommandé, pour isoler clairement l'effet de la coupure testée et éviter de confondre plusieurs dépendances simultanées dans l'interprétation des résultats obtenus.

Que faire si aucun effet notable n'est observé pendant la coupure ? Ce résultat est en lui-même informatif : il indique que la source testée n'était pas aussi critique que supposé, ou que des mécanismes de compensation existants suffisent, ce qui doit être documenté au même titre qu'un résultat révélant une dépendance forte.