Le bruit d'un dispositif de veille vient d'abord de la commande, pas des réglages

Un même dispositif, deux taux de rejet

Un constat revient régulièrement dans les dispositifs de veille arrivés à maturité : une équipe de collecte reçoit une demande, la traduit en requêtes, livre des résultats, et une part significative de ces résultats est écartée par le destinataire comme non pertinente. Le réflexe le plus courant consiste alors à intervenir sur les réglages de collecte, en resserrant les termes, en ajoutant des exclusions, en modifiant les sources interrogées, dans l'espoir de faire baisser ce taux de rejet.

Ce réflexe part d'une hypothèse implicite rarement vérifiée : que le bruit constaté vient du dispositif, de ses réglages, de son calibrage. Or il est possible, à dispositif de collecte strictement inchangé, de faire varier fortement le taux de rejet en changeant uniquement la formulation de la demande initiale, celle qui a servi à construire les requêtes. Cette variation, lorsqu'elle est mesurée, désigne la commande elle-même comme une source de bruit distincte des réglages, et souvent plus déterminante qu'eux.

Comparer deux formulations d'une même demande

La méthode consiste à prendre une demande de veille réelle, telle qu'elle a été formulée par son destinataire, puis à en produire une seconde formulation, portant sur le même sujet de fond mais explicitant des éléments que la première laissait implicites : le périmètre géographique visé, l'horizon temporel attendu, le niveau de profondeur recherché, ou le type d'acteur qui intéresse réellement le destinataire parmi tous ceux que le sujet pourrait concerner. Les deux formulations sont ensuite traduites en requêtes de collecte séparément, par la même équipe et selon la même méthode, sans que le dispositif de collecte lui-même ne soit modifié entre les deux.

Les résultats produits par chacune des deux formulations sont alors soumis, dans les mêmes conditions, au jugement du destinataire de la demande, qui indique pour chaque document remonté s'il le juge pertinent ou non par rapport à ce qu'il attendait réellement. La comparaison porte sur le taux de rejet observé pour chaque formulation, à volume de résultats comparable, ce qui isole l'effet de la formulation de celui du dispositif de collecte, puisque ce dernier reste identique dans les deux cas.

Ce que révèle l'écart entre les deux taux

Quand cette comparaison est menée, l'écart entre les deux taux de rejet dépasse fréquemment ce que les seuls réglages de collecte pourraient expliquer à eux seuls, sur un périmètre pourtant identique. La formulation la plus explicite produit systématiquement moins de rejet que la formulation implicite, ce qui indique que les documents écartés dans le premier essai n'étaient pas hors sujet en eux-mêmes : ils répondaient à une lecture plausible mais non voulue de la demande initiale, une lecture que la formulation implicite n'excluait pas explicitement.

Ce phénomène a une conséquence directe sur l'interprétation du bruit dans un dispositif de veille : un taux de rejet élevé n'est pas, en lui-même, une preuve que la collecte est mal réglée. Il peut tout aussi bien signaler que la demande initiale portait plusieurs lectures possibles, et que le dispositif a raisonnablement couvert plusieurs d'entre elles, produisant des résultats pertinents au regard de la lettre de la demande mais non de son intention réelle, restée non exprimée.

Où se loge l'ambiguïté dans une demande de veille

L'ambiguïté qui produit ce bruit ne porte presque jamais sur le sujet de fond lui-même, qui reste en général clair pour les deux parties. Elle porte sur des paramètres périphériques que la formulation initiale laisse sous entendu, en présumant, à tort, qu'ils vont de soi pour le destinataire comme pour l'équipe de collecte : le périmètre géographique précis quand le sujet a une dimension internationale, l'horizon temporel quand le sujet mêle un historique ancien et une actualité récente, ou encore le niveau d'acteur pertinent quand un sujet concerne à la fois des grands groupes et des acteurs de taille plus modeste.

Ces paramètres périphériques ne sont pas moins déterminants que le sujet de fond pour la pertinence perçue des résultats, ils sont seulement moins visibles au moment où la demande est formulée, parce que le destinataire les tient souvent pour évidents alors qu'ils ne le sont pas pour l'équipe qui traduit la demande en requêtes. C'est cette différence de perception, entre ce qui paraît évident au demandeur et ce qui l'est réellement pour celui qui exécute, qui constitue la matière première du bruit d'origine non technique.

Le test de reformulation avant le réglage technique

La conséquence pratique de cette analyse est un ordre d'opérations : avant d'intervenir sur les réglages de collecte pour faire baisser un taux de rejet jugé trop élevé, il est utile de tester une reformulation de la demande initiale, en explicitant les paramètres périphériques les plus susceptibles de porter une ambiguïté, et en confrontant les résultats des deux formulations selon la méthode décrite plus haut. Si l'écart entre les deux taux de rejet est important, la priorité de traitement se situe du côté de la commande, pas du côté du dispositif.

Ce test a un coût modeste comparé à celui d'une série de réglages techniques menés sans savoir si le bruit qu'ils visent à corriger a une origine technique ou une origine de formulation. Un réglage de collecte qui tente de corriger un bruit d'origine linguistique produit rarement l'effet recherché, puisqu'il agit sur un mécanisme qui n'est pas la cause réelle du problème observé, et peut même dégrader la couverture du sujet en resserrant des critères qui n'avaient pourtant rien de fautif.

Faire de ce test un réflexe plutôt qu'une exception

Une fois la démonstration établie sur un cas, l'intérêt du test de reformulation ne se limite pas à la résolution ponctuelle d'un taux de rejet jugé anormalement élevé. Il peut être intégré comme une étape systématique de tout nouveau dossier de veille, avant même qu'un problème de bruit ne se manifeste, au même titre qu'une vérification de routine précède une mise en production dans d'autres métiers. Cette systématisation a un coût d'entretien faible une fois la méthode assimilée par l'équipe qui recueille les demandes, car elle ne suppose ni outil supplémentaire ni compétence nouvelle, seulement la discipline de produire deux formulations avant de valider la première comme définitive.

Cette systématisation change aussi la nature du dialogue entre l'équipe de collecte et le destinataire de la demande : plutôt que de découvrir l'ambiguïté après coup, au moment où les résultats sont jugés trop nombreux ou trop peu pertinents, elle la fait remonter en amont, pendant la phase où la demande est encore facile à préciser sans avoir à revenir sur un travail déjà livré. Un dispositif qui adopte cette pratique de façon régulière observe, avec le temps, une baisse progressive de la part de son bruit qui trouve son origine dans la commande plutôt que dans le dispositif, simplement parce que les demandes qui lui parviennent sont, en moyenne, mieux explicitées dès le départ.

Ce que cette analyse ne traite pas

Cette analyse démontre, par comparaison mesurée, que l'ambiguïté de la commande initiale est une source de bruit distincte des réglages de collecte. Elle ne rejoue pas l'arbitrage classique entre précision et exhaustivité, qui porte sur le compromis à trouver, une fois la demande fixée, entre le risque de manquer un document pertinent et celui d'en remonter trop qui ne le sont pas. Cet arbitrage intervient en aval, une fois que la commande elle-même est jugée suffisamment claire.

Elle ne reprend pas non plus la méthode de formulation d'un besoin de veille, qui décrit la procédure à suivre pour recueillir une demande complète auprès d'un destinataire. Cette analyse en constitue la démonstration empirique, elle en établit la nécessité en mesurant ce qu'il en coûte de s'en dispenser, mais elle ne décrit pas, en tant que telle, comment mener cet entretien de recueil.

NewsCore, sur www.newscore.fr, restitue à chaque destinataire d'une note de veille le périmètre exact que la collecte a couvert, ce qui rend visible, avant même la lecture des résultats, tout écart entre la demande formulée et son interprétation retenue.

Questions fréquentes

Combien de fois faut il répéter ce test de reformulation pour un même sujet ? Une seule comparaison suffit en général à établir si la commande est une source de bruit significative pour ce sujet précis. Le test gagne en revanche à être répété sur des sujets nouveaux, car le niveau d'ambiguïté d'une commande varie fortement d'un sujet à l'autre selon sa nature.

Qui doit rédiger la seconde formulation utilisée dans la comparaison ? Une personne distincte de celle qui a formulé la demande initiale, afin d'éviter que la seconde formulation ne reproduise inconsciemment les mêmes présupposés que la première. Un regard extérieur au dialogue initial identifie plus facilement les paramètres restés implicites.

Ce test s'applique t il à des demandes de veille récurrentes ou seulement ponctuelles ? Il s'applique aux deux, mais son intérêt est plus grand sur une demande récurrente, puisque l'ambiguïté détectée et corrigée une fois profite alors à toutes les livraisons suivantes, alors qu'une demande ponctuelle n'offre qu'une seule occasion d'en bénéficier.

Un taux de rejet faible dès la première formulation dispense t il de tester une reformulation ? Un taux de rejet déjà faible reste un signal rassurant, mais il ne prouve pas l'absence d'ambiguïté : il peut simplement indiquer que l'interprétation retenue par l'équipe de collecte a coïncidé, par chance, avec l'intention réelle du demandeur. Le test garde une valeur préventive même dans ce cas.