Déclaratif contre instrumenté : ce que révèle l'écart entre ce que les équipes disent et ce que le dispositif enregistre

Comparer ce que des équipes de veille déclarent de leur pratique et ce que montrent les journaux d'usage du dispositif qu'elles utilisent constitue un protocole de double mesure : les mêmes objets sont interrogés par deux voies indépendantes, un questionnaire d'un côté, un relevé instrumenté de l'autre, puis les résultats sont confrontés objet par objet plutôt que comparés globalement.

Construire un protocole de double mesure sur les mêmes objets

La validité de la comparaison dépend entièrement du choix des objets mesurés, qui doivent être formulés de façon strictement identique dans le questionnaire et dans le relevé instrumenté. Trois objets se prêtent particulièrement bien à ce double relevé. Le nombre de sources suivies, d'abord, qu'une équipe peut estimer de mémoire alors que le référentiel technique en donne un compte exact à un instant donné. La fréquence de consultation du dispositif, ensuite, qu'un questionnaire capte sous forme d'une estimation qualitative, par exemple plusieurs fois par jour, alors que les journaux d'usage enregistrent chaque accès avec un horodatage précis. Le nombre d'alertes traitées sur une période donnée, enfin, qu'une équipe déclare souvent de mémoire en fin de semaine alors que le dispositif conserve la trace exacte de chaque ouverture.

Le protocole exige que les deux mesures portent sur exactement la même période et la même définition de l'objet observé. Interroger une équipe sur sa consultation habituelle du dispositif tout en comparant la réponse à un relevé instrumenté portant sur une période différente, ou sur une définition plus étroite de ce que compte pour une consultation, invaliderait la comparaison avant même son interprétation.

La direction habituelle de l'écart

Lorsque ce protocole est appliqué avec rigueur, l'écart entre déclaratif et instrumenté ne se disperse pas au hasard autour de zéro : il présente une direction récurrente selon l'objet mesuré. Le nombre de sources suivies est le plus souvent surestimé dans le déclaratif par rapport au référentiel technique réel, les équipes ayant tendance à compter des sources ajoutées historiquement mais devenues inactives sans que leur retrait n'ait été acté mentalement. La fréquence de consultation est elle aussi le plus souvent surestimée, les répondants ayant tendance à généraliser à partir des journées les plus chargées plutôt qu'à intégrer les journées creuses dans leur estimation moyenne.

Le nombre d'alertes traitées suit un mouvement plus contrasté : il est parfois sous-estimé, parce que les alertes traitées rapidement et sans suite laissent moins de trace dans la mémoire que celles ayant donné lieu à une action notable, et parfois surestimé lorsque l'équipe assimile consultation rapide et traitement effectif alors que le dispositif distingue les deux. Cette direction contrastée illustre pourquoi il ne faut jamais présumer du sens de l'écart sans l'avoir mesuré objet par objet.

Les causes habituelles de l'écart, indépendantes de la bonne foi

Ces écarts s'expliquent principalement par des mécanismes cognitifs bien identifiés plutôt que par une volonté de présenter une image favorable. Le biais de disponibilité en mémoire conduit à surestimer la fréquence d'événements récents ou marquants, comme une journée particulièrement chargée en alertes, au détriment d'une moyenne réelle tirée vers le bas par des journées plus calmes que l'on retient moins bien. Le biais de désirabilité sociale, qui pousse à répondre dans le sens jugé le plus valorisant pour l'équipe ou pour soi-même, joue également un rôle, sans qu'il faille pour autant y voir une intention de tromper : il opère le plus souvent de façon largement inconsciente.

Un troisième mécanisme tient à la définition floue des objets interrogés dans un questionnaire ordinaire. Une question sur le nombre de sources suivies laisse ouverte l'interprétation de ce que signifie suivre une source, certains répondants incluant des sources ajoutées puis oubliées, d'autres se limitant aux sources qu'ils consultent effectivement, ce qui produit une variabilité de réponse qui ne traduit aucun écart de perception réel mais une différence de définition implicite entre répondants.

Ce que ce protocole ne doit pas devenir

Il est essentiel de ne pas transformer ce protocole de double mesure en instrument de contrôle des équipes ou en évaluation individuelle de leur performance. L'écart constaté entre déclaratif et instrumenté n'est pas un indicateur de la qualité du travail réalisé, ni une mesure de la diligence des personnes interrogées : il documente la fiabilité d'un mode de recueil d'information, l'enquête déclarative, comparé à un autre, le relevé instrumenté, sur des objets factuels et vérifiables.

Ce protocole ne doit pas non plus être confondu avec les baromètres de charge de veille existants, qui portent sur le volume de travail supporté par une équipe et sur sa capacité d'absorption. L'objet ici est différent et plus restreint : il s'agit d'évaluer, sur des faits vérifiables indépendamment de toute appréciation de charge, la validité de la déclaration comme instrument de mesure, une question de méthode d'enquête avant d'être une question de gestion d'équipe.

Exploiter l'écart plutôt que le corriger arbitrairement

Une fois la direction habituelle de l'écart établie sur un objet donné, deux usages légitimes s'ouvrent, à ne pas confondre. Le premier consiste à préférer systématiquement le relevé instrumenté au déclaratif pour tout objet où celui ci existe et où l'écart mesuré s'est révélé significatif, la mesure instrumentée constituant alors la source de vérité pour le pilotage courant. Le second consiste à conserver le questionnaire déclaratif pour les objets où aucun relevé instrumenté n'est disponible, tout en gardant à l'esprit, lors de l'interprétation, la direction et l'ampleur de l'écart typiquement observé sur des objets comparables.

La plateforme www.newscore.fr consigne, pour chaque objet mesurable, un journal d'usage détaillé qui restitue directement le nombre de sources actives, la fréquence réelle de consultation et le compte exact des alertes ouvertes, ce qui relie le protocole de double mesure décrit ici à une donnée déjà disponible plutôt qu'à collecter séparément.

Il serait en revanche imprudent d'appliquer un facteur de correction générique au déclaratif à partir d'un écart mesuré sur un seul objet ou dans un seul contexte organisationnel, l'ampleur de l'écart variant sensiblement selon la nature de l'objet interrogé et selon les habitudes propres à chaque équipe.

Limites de la méthode et reproductibilité

Ce protocole suppose que le relevé instrumenté lui-même soit fiable et correctement défini, une condition qui n'est jamais acquise par défaut : un journal d'usage mal configuré, par exemple qui ne distingue pas une ouverture réelle d'un chargement automatique en arrière plan, produirait un point de comparaison tout aussi biaisé que le déclaratif qu'il est censé évaluer. Vérifier la fiabilité du relevé instrumenté constitue donc un préalable indispensable, non une hypothèse à admettre sans contrôle.

La reproductibilité de ce protocole dépend enfin de la formulation exacte des questions posées et de la période couverte par le relevé instrumenté associé, ces deux éléments devant être documentés avec la même précision que le résultat chiffré lui-même pour qu'une autre équipe puisse reconduire l'exercice sur un périmètre différent et comparer ses résultats de façon valide.

Questions fréquentes

Ce protocole vise t il à sanctionner les équipes qui répondent de façon inexacte ? Non, l'écart constaté ne relève pas d'une intention de mal répondre mais de mécanismes cognitifs ordinaires, comme le biais de disponibilité en mémoire ou la définition floue des objets interrogés. L'objet de la mesure est la validité de l'enquête déclarative comme instrument, pas l'évaluation des personnes qui y répondent.

Dans quel sens l'écart se produit il le plus souvent ? Le nombre de sources suivies et la fréquence de consultation sont le plus souvent surestimés dans le déclaratif par rapport au relevé instrumenté, tandis que le nombre d'alertes traitées suit une direction plus contrastée selon le contexte, ce qui interdit de présumer du sens de l'écart sans l'avoir mesuré objet par objet.

Faut il abandonner les questionnaires déclaratifs au profit du seul relevé instrumenté ? Non, le relevé instrumenté doit être préféré lorsqu'il existe et que l'écart mesuré est significatif, mais le déclaratif garde son utilité pour les objets qu'aucun journal d'usage ne peut capter, à condition d'interpréter les réponses en tenant compte de la direction d'écart habituellement observée.

Ce protocole recoupe t il les baromètres de charge de veille déjà établis ? Non, il porte sur la fiabilité d'un mode de recueil d'information appliqué à des faits vérifiables, un objet de méthode d'enquête distinct de la mesure du volume de travail ou de la capacité d'absorption d'une équipe, qui relève d'autres baromètres.