Note de méthode : rédiger le questionnaire d'un baromètre de veille sans induire la réponse

Un baromètre de veille perd sa valeur dès que le questionnaire qui le fait vivre oriente, même involontairement, la réponse qu'il recueille. Ce risque ne tient pas à une intention de manipuler le résultat, la plupart du temps absente, mais à des choix de formulation faits par habitude ou par souci de clarté qui, sans le vouloir, ferment une partie des réponses possibles avant même que le répondant n'ait pu s'exprimer. Trois défauts reviennent le plus souvent : la question orientée, l'échelle asymétrique et l'absence d'option de refus. Chacun peut être corrigé, à condition d'être identifié avant la diffusion plutôt qu'après, quand les données sont déjà recueillies et le biais irréversible.

Repérer la question orientée

Une question orientée introduit, dans sa formulation même, un jugement ou une prémisse que le répondant est censé accepter pour pouvoir répondre. Une question qui demande dans quelle mesure un dispositif de veille a permis d'éviter un problème présuppose que le dispositif a effectivement évité quelque chose, ce qui interdit au répondant qui pense le contraire de répondre autre chose qu'un chiffre bas sur une échelle qui, elle, ne remet jamais en cause la prémisse.

La réécriture neutre sépare le constat de l'appréciation : demander d'abord si un problème a été évité, avec une option négative pleinement recevable, puis, seulement pour les répondants ayant répondu positivement, demander dans quelle mesure. Cette séparation en deux temps coûte une question de plus dans le questionnaire, mais elle évite de forcer une appréciation sur une prémisse qu'une partie des répondants ne partage pas.

Un test simple permet de repérer une question orientée avant diffusion : la faire lire par une personne extérieure au projet, à qui l'on demande de reformuler ce qu'elle comprend être présupposé par la question. Si cette personne identifie une affirmation implicite que la question elle-même ne permet pas de contester, la formulation doit être révisée avant d'aller plus loin. Cette relecture croisée coûte peu de temps rapporté au risque d'exploiter, des mois durant, des réponses construites sur une prémisse que personne n'a examinée.

Un autre signe révélateur tient au vocabulaire employé dans l'intitulé lui-même : des adjectifs à forte charge évaluative, positifs ou négatifs, orientent la lecture avant même que le répondant n'atteigne l'échelle de réponse. Remplacer ces adjectifs par une formulation descriptive, dépourvue de jugement intégré, restitue au répondant la charge d'évaluer plutôt que de simplement confirmer un jugement déjà formulé dans la question.

Corriger l'échelle asymétrique

Une échelle asymétrique propose davantage de graduations d'un côté du jugement que de l'autre, par exemple plusieurs degrés de satisfaction contre un seul degré d'insatisfaction regroupant toutes les réponses négatives. Cette asymétrie pousse mécaniquement la distribution des réponses vers le côté le mieux détaillé, non parce que l'opinion réelle y penche davantage, mais parce que le répondant insatisfait dispose de moins de nuances pour exprimer précisément son niveau de désaccord.

Une échelle équilibrée offre le même nombre de graduations de part et d'autre d'un point neutre explicite, avec des intitulés dont l'intensité progresse symétriquement dans les deux directions. Vérifier cet équilibre demande de lister les intitulés des deux côtés de l'échelle et de comparer leur nombre et leur intensité relative, un exercice rapide qui révèle immédiatement une asymétrie qu'une lecture globale du questionnaire laisse souvent passer inaperçue.

L'ordre de présentation des graduations compte également : présenter systématiquement l'option la plus favorable en premier introduit un effet d'ancrage qui favorise légèrement les réponses situées en début de liste. Alterner l'ordre entre plusieurs versions du questionnaire, ou le neutraliser en présentant les graduations sous une forme moins linéaire, réduit cet effet sans complexifier excessivement la passation.

Prévoir une option de refus explicite

L'absence d'option de refus ou de ne sait pas force une partie des répondants vers une réponse qui n'existait pas chez eux avant qu'on ne la leur impose. Un répondant sans opinion tranchée sur une question, contraint de choisir malgré tout une position sur l'échelle proposée, produit une réponse qui n'a plus grand-chose à voir avec une opinion réelle, mais qui vient tout de même s'agréger aux résultats comme si elle en était une.

Ajouter une option de ne sait pas ou de non concerné, clairement distincte du point neutre de l'échelle de jugement, permet de séparer l'absence d'opinion de l'opinion neutre, deux réalités que l'échelle seule confond systématiquement si elle ne propose qu'un point médian. Cette distinction change souvent la lecture du résultat final, en révélant qu'une partie de ce qui semblait un jugement mesuré tenait en réalité à une absence de position exprimée faute d'alternative.

Le coût perçu d'ajouter cette option, souvent une crainte que trop de répondants s'y réfugient pour éviter de répondre, ne justifie pas de la retirer : un taux élevé de non-réponse informe en soi sur la maturité du sujet auprès du public interrogé, ce qui vaut mieux qu'un résultat artificiellement complet mais fabriqué par contrainte de réponse. Suivre l'évolution de ce taux de non-réponse d'une édition du baromètre à l'autre fournit d'ailleurs un indicateur à part entière, distinct du contenu des opinions recueillies, qui mérite d'être publié aux côtés des résultats plutôt que passé sous silence comme une simple perte de données.

Tester le questionnaire avant diffusion large

Une procédure de test préalable, menée sur un petit groupe représentatif avant la diffusion à l'ensemble des répondants visés, révèle des ambiguïtés qu'aucune relecture interne, même attentive, ne détecte seule. Les personnes qui rédigent un questionnaire connaissent trop bien l'intention derrière chaque question pour repérer les lectures alternatives qu'un répondant extérieur en fera spontanément.

Ce test gagne à combiner deux volets : recueillir les réponses effectivement données sur le petit groupe, pour repérer une distribution anormalement concentrée qui trahirait une question fermée ou orientée, et interroger ensuite ces mêmes répondants sur ce qu'ils ont compris de chaque question, pour identifier les formulations ambiguës avant qu'elles ne biaisent un résultat à plus grande échelle.

Les ajustements issus de ce test doivent rester documentés, avec la version initiale de chaque question modifiée et la raison du changement, pour que le baromètre garde une trace de sa propre évolution méthodologique. NewsCore relie sur www.newscore.fr les signaux d'actualité qu'elle agrège à ce type d'exigence méthodologique, ce qui replace le test préalable comme une étape à part entière du protocole, et non comme une formalité éludée faute de temps avant la diffusion.

Questions fréquentes

Comment repérer une question orientée sans expertise en méthodologie ? Il suffit de faire lire la question par une personne extérieure au projet et de lui demander ce qu'elle estime présupposé ; toute affirmation implicite qu'elle ne peut pas contester dans sa réponse signale une orientation à corriger.

Une échelle à cinq graduations est-elle automatiquement équilibrée ? Non : ce qui compte est la répartition des intitulés de part et d'autre du point neutre, pas leur nombre total ; une échelle à cinq points peut rester asymétrique si trois graduations positives font face à une seule négative.

Faut-il toujours proposer une option de ne sait pas ? Dans la grande majorité des cas, oui, car son absence force une réponse chez des répondants qui n'en avaient pas et fausse la distribution obtenue ; son retrait ne se justifie que si l'absence d'opinion est elle-même hors du champ de la question posée.

Sur combien de personnes faut-il tester un questionnaire avant diffusion large ? Il n'existe pas de seuil universel, mais un petit groupe suffisamment diversifié pour représenter les profils principaux des répondants visés permet déjà de repérer la plupart des ambiguïtés de formulation avant qu'elles ne se propagent à grande échelle.