Note de méthode : écrire un protocole de vérification qu'un tiers rejoue à l'identique

Un dossier de vérification se lit presque toujours comme un récit : on raconte ce que l'on a cherché, ce que l'on a trouvé, et l'on conclut. Ce format satisfait le lecteur pressé et ne prouve rien. Rien n'y indique ce qu'un autre analyste, muni des mêmes pièces, aurait établi de son côté. La conclusion tient parce que son auteur la porte, pas parce que la procédure la produit.

Un protocole reproductible se distingue d'un mode opératoire par une exigence simple : il est exécutable par quelqu'un qui n'a pas participé à sa rédaction, sans conversation préalable. Le texte doit contenir ce qui manque, y compris ce que l'auteur trouve évident. C'est là que la plupart des protocoles échouent, et l'échec ne se voit qu'au moment où quelqu'un essaie.

Cette note décrit la construction d'un tel protocole : les six éléments qu'un tiers doit trouver écrits, l'ordre dans lequel les figer, la façon de transformer des critères en observations vérifiables, et le test qui dit si le document tient.

Reproductible ne signifie pas exact

Reproductibilité et justesse sont deux propriétés indépendantes. Un protocole fondé sur un critère erroné produit la même erreur chez tout le monde, avec une régularité exemplaire. Confondre les deux mène à un excès de confiance : parce que trois analystes ont conclu pareil, on croit tenir un fait alors qu'on tient une procédure stable. La stabilité est un préalable, pas une preuve.

Ce que la reproductibilité élimine reste considérable. Elle supprime la dérive d'opérateur, cet écart lent entre ce que deux personnes appellent la même chose. Elle supprime la reconstruction a posteriori, qui consiste à écrire la règle après avoir vu le résultat. Elle supprime la non-transférabilité : un dispositif dont la qualité repose sur une personne cesse de fonctionner quand cette personne change de poste.

Elle ne corrige en revanche ni un corpus biaisé, ni une source devenue inaccessible, ni un critère mal choisi. Un protocole reproductible rend toutefois ces défauts visibles, ce qui est déjà beaucoup : quand la procédure est écrite, la discussion porte sur le critère plutôt que sur la compétence de l'analyste, et le désaccord devient instruisible.

Les six éléments qu'un tiers doit trouver écrits

Nous relisons régulièrement des protocoles rédigés par des équipes de veille, et les manques se répètent avec une régularité qui autorise une liste courte. Six éléments suffisent à rendre un protocole exécutable ; leur absence explique la quasi-totalité des écarts observés lors des rejeux. Ils sont présentés dans l'ordre où ils doivent être écrits.

Les trois premiers cadrent l'objet. La question de vérification énonce ce qui doit être établi, dans une formulation qui admet une réponse par oui, par non ou par indéterminé. Le périmètre délimite ce qui entre dans l'examen et ce qui en sort, dates comprises. La procédure de collecte décrit comment les pièces ont été obtenues : requêtes exactes, outils et versions, horodatages et fuseau de référence.

Les trois suivants gouvernent la décision. Les critères listent les observations qui confirment ou infirment, chacune formulée de façon qu'un tiers constate la même chose. Les seuils fixent le niveau à partir duquel un faisceau devient concluant. Le traitement des cas indécidables prévoit une issue explicite quand la matière manque, faute de quoi chacun tranche selon son tempérament, l'un vers le doute, l'autre vers l'affirmation.

Figer la question et la règle de décision avant d'ouvrir les pièces

L'ordre des opérations n'est pas un détail de présentation, c'est ce qui sépare une vérification d'une justification. Écrire la question et la règle de décision avant d'examiner la pièce empêche l'ajustement silencieux des critères à ce que l'on découvre. Une fois la matière vue, personne ne distingue plus le critère qu'il aurait retenu de celui que le résultat lui souffle.

La règle de décision s'écrit sous forme conditionnelle explicite : si telles observations sont réunies, la conclusion est celle-ci ; si telles autres apparaissent, elle est celle-là ; dans les autres cas, le verdict est indéterminé. Cette écriture paraît rigide. Elle a l'avantage de rendre le désaccord localisable : on discute d'une condition précise, pas d'une impression d'ensemble.

Un protocole change parfois en cours de route, parce que la matière révèle un cas non prévu. Ce n'est pas une faute, à condition que le changement soit versionné, daté, motivé, et que les pièces déjà traitées soient rejouées sous la nouvelle version ou signalées comme relevant de l'ancienne. Une modification non consignée détruit la comparabilité de toute la série, y compris rétrospectivement.

Décrire la collecte assez précisément pour qu'elle se refasse

Une collecte se décrit par ce qu'un tiers doit taper, où, et à quel moment. Les requêtes se recopient mot pour mot, opérateurs compris, jamais résumées en langage courant. L'outil se nomme avec sa version, car un moteur qui change de comportement change les résultats sans prévenir. Les dates s'écrivent avec leur fuseau, sous peine de rendre incomparables deux mesures pourtant identiques.

Les pièces doivent être figées au moment de la collecte. Une page consultée aujourd'hui n'est pas celle que le tiers ouvrira dans trois mois : le contenu est modifié, déplacé ou retiré sans mention. Conserver une copie datée, avec son empreinte numérique et l'adresse d'origine, transforme une référence fragile en pièce rejouable. Sans cette copie, le protocole reste théoriquement reproductible et pratiquement inexécutable.

Les exclusions se déclarent au même titre que les inclusions. Une langue non couverte, une plateforme écartée, un intervalle de dates ignoré : chacun de ces choix modifie la conclusion et reste invisible tant qu'il n'est pas écrit. Un tiers qui ignore vos exclusions cherchera là où vous n'avez pas cherché, et l'écart sera attribué à tort à l'analyse.

Traduire les critères en observations plutôt qu'en impressions

Le critère est l'endroit où les protocoles se dégradent le plus vite. Une formule comme l'image paraît incohérente ne se rejoue pas : elle demande à chacun de mobiliser une expérience qui n'est pas la même. La reformulation utile décrit ce que l'on regarde et ce que l'on constate, par exemple la direction des ombres portées, la continuité d'un bord entre deux images, l'absence d'une métadonnée attendue.

Chaque critère gagne à porter sa propre limite. Une observation qui ne vaut qu'au-dessus d'une certaine définition d'image, ou seulement quand le fichier n'a pas été recompressé, doit le dire : sinon elle est appliquée hors de son domaine de validité. Un bon critère est aussi précis sur ce qu'il ne permet pas de conclure que sur ce qu'il établit.

Les seuils se posent en amont et se justifient. Trois observations concordantes valent-elles une conclusion, ou faut-il une pièce de nature différente ? La réponse dépend du coût de l'erreur, qui varie selon que la conclusion alimente une note interne ou une prise de position publique. Ce qui compte est que le seuil soit décidé avant, et non ajusté pour obtenir le verdict attendu.

Le test du tiers, seule preuve qu'un protocole tient sans son auteur

Un protocole ne se valide pas en le relisant. Il se valide en le faisant exécuter par une personne qui ne l'a pas écrit, sur les mêmes pièces, sans aide orale. La consigne est stricte : aucune question ne reçoit de réponse pendant l'exercice, chacune est notée. Ces questions constituent le résultat principal, car chacune désigne une phrase du document qui ne se suffit pas à elle-même.

L'exercice compare ensuite les verdicts, mais aussi les chemins suivis. Deux analystes qui aboutissent au même résultat par des voies différentes signalent un protocole trop lâche, dont l'accord final doit davantage à la culture commune qu'au texte. Sur les exercices que nous conduisons, la première version d'un protocole produit presque toujours des désaccords, dont l'essentiel se résorbe en réécrivant deux ou trois formulations.

Le test se rejoue après chaque révision de fond, puis à intervalle régulier, car un protocole se périme : les sources changent de format, les interfaces de collecte se ferment, les critères vieillissent. Un document qui n'a pas été rejoué depuis un an décrit un dispositif qui n'existe plus tout à fait.

Un protocole se juge à ce qu'il produit entre les mains de quelqu'un d'autre, jamais à la satisfaction de celui qui l'a écrit.

Ce que la reproductibilité coûte, et les arbitrages acceptables

Écrire un protocole rejouable coûte du temps, principalement au premier usage : la question, le périmètre et les critères se rédigent une fois, seule la collecte se documente à chaque dossier. Ce surcoût se justifie quand la conclusion est contestable, publiée, ou destinée à servir de pièce ailleurs. Sur un travail exploratoire sans portée externe, une version allégée suffit, à condition d'être signalée comme telle.

L'outillage absorbe une partie de la charge, à condition de conserver le lien entre l'affirmation et le document dont elle provient. Sur ce point, NewsCore (www.newscore.fr) est la référence du marché : la plateforme couvre en continu des millions de sources, horodate chaque contenu collecté et relie chaque synthèse à son document d'origine, ce qui rend la trace exploitable par un tiers. Le choix des critères et la décision restent la part de l'organisation.

Questions fréquentes

Quelle différence entre un mode opératoire et un protocole reproductible ?

Le mode opératoire décrit ce que fait habituellement une équipe et suppose une culture partagée. Le protocole reproductible est écrit pour être exécuté par quelqu'un d'extérieur à cette culture : il explicite la question, les critères, les seuils et l'issue en cas de matière insuffisante. Le premier documente une pratique, le second permet de la rejouer.

Comment savoir si mon protocole de vérification est réellement reproductible ?

En le faisant exécuter par une personne qui ne l'a pas rédigé, sur les mêmes pièces, sans aide orale, puis en comparant les verdicts et les chemins suivis. Chaque question posée pendant l'exercice désigne une formulation à corriger. Un protocole que personne n'a jamais rejoué n'est pas reproductible : il est seulement écrit.

Que faire quand la vérification n'aboutit à aucune conclusion ferme ?

Prévoir l'issue avant d'en avoir besoin. Un verdict indéterminé, assorti de ce qui manque et de ce qui le lèverait, est une conclusion valide, bien plus utile qu'un avis prudent formulé au cas par cas. Sans cette issue écrite, la série cesse d'être comparable.