Note de méthode : coder l'intention dans un corpus de veille d'opinion

La veille d'opinion produit des volumes considérables de messages publics et un vocabulaire flottant pour les décrire. On y parle indifféremment de sentiment, de tonalité, d'opinion, parfois d'intention, comme si ces termes désignaient la même chose observée sous des angles voisins. Ils ne la désignent pas. Coder l'intention consiste à attribuer à chaque unité d'un corpus la finalité poursuivie par son auteur, c'est à dire ce qu'il cherche à obtenir en publiant. Cette note de méthode délimite la notion, décrit le protocole de codage retenu et énonce ce que la mesure ne dit pas.

L'enjeu n'est pas terminologique. Une direction qui reçoit un tableau de sentiments majoritairement négatifs sur une marque n'apprend presque rien : la négativité recouvre indifféremment une plainte de client, un appel au boycott, une ironie de spectateur ou une reprise mécanique par un compte automatisé. Ces quatre situations appellent des réponses opposées. Le codage de l'intention sépare ce que le codage du sentiment agrège, et c'est cette séparation, non la finesse du calcul, qui rend un corpus d'opinion exploitable pour décider.

Intention, opinion, sentiment : trois objets que la veille d'opinion confond

Le sentiment est la charge affective portée par un énoncé, positive, négative ou neutre. C'est une propriété du texte, généralement détectable sur des marqueurs lexicaux, et c'est la variable la plus facile à automatiser. L'opinion est un jugement attribué à un locuteur sur un objet donné : elle suppose d'identifier cet objet, ce qui constitue déjà un travail de qualification. L'intention, elle, porte sur l'acte accompli en publiant : informer, alerter, mobiliser, dénigrer, vendre, divertir, se plaindre, tester une réaction. Elle ne se lit pas dans le lexique seul, elle s'infère du message et de son contexte de publication.

La distinction se vérifie sur des exemples simples. Un message ironique très positif dans son lexique porte une intention de dénigrement. Un message factuel et neutre relayant un rappel de produit porte une intention d'alerte. Un message négatif adressé au service client porte une intention de réclamation, pas de mobilisation. Un dispositif qui ne code que le sentiment range ces trois messages sur une seule échelle et perd exactement l'information qui commande l'action. C'est la raison pour laquelle un corpus d'opinion se code sur deux axes indépendants au minimum.

Une confusion voisine mérite d'être écartée : l'intention codée n'est pas l'intention réelle du locuteur. Personne n'a accès à l'état mental d'un auteur. Ce que code un analyste, c'est l'intention manifeste, celle qu'un lecteur raisonnable attribuerait au message tel qu'il a été publié. Cette convention est ce qui rend le codage possible et discutable : elle déplace la question du for intérieur, inaccessible, vers l'énoncé observable, sur lequel deux analystes se trouvent d'accord ou en désaccord de façon argumentée.

Ce que coder veut dire : unité d'observation, grille, règle de décision

Coder suppose d'abord de fixer l'unité d'observation, décision plus lourde qu'il n'y paraît. Le message isolé, le fil complet, le compte sur une période ou la conversation autour d'un objet ne produisent pas les mêmes résultats. Un fil de réponses codé message par message fait apparaître beaucoup de réclamations ; codé comme un tout, il fait apparaître une mobilisation. Le protocole retenu code le message comme unité par défaut, et documente explicitement les cas où l'unité retenue est le fil, avec la règle qui a conduit à ce choix.

La grille vient ensuite. Elle liste les catégories d'intention possibles, en nombre limité, avec pour chacune une définition en une phrase et deux exemples réels tirés du corpus, l'un typique et l'autre limite. La règle de décision précise l'ordre d'examen quand un message semble relever de deux catégories : on ne code pas au ressenti de l'analyste, on applique une priorité écrite. Sans cette règle, la grille se comporte différemment selon la fatigue et l'ancienneté du codeur, et le corpus devient incomparable dans le temps.

Construire une grille d'intention qui tranche au lieu d'accumuler

Une grille utile est exhaustive et exclusive : toute unité reçoit une catégorie, et une seule. L'exhaustivité s'obtient par une catégorie résiduelle explicitement définie, jamais par une case fourre-tout laissée ouverte. L'exclusivité s'obtient par la règle de priorité. Notre observation sur des corpus de taille moyenne, présentée comme un ordre de grandeur et non comme une mesure, converge vers un nombre restreint de catégories : au delà de huit ou neuf, l'accord entre codeurs se dégrade nettement, et les catégories rares cessent d'être remplies de façon stable.

Le test de qualité d'une grille est simple à conduire. On prélève un échantillon aléatoire de quelques dizaines d'unités, on le fait coder par deux analystes qui ne communiquent pas, puis on examine uniquement les désaccords. Si les désaccords se concentrent sur une catégorie, c'est sa définition qu'il faut réécrire. S'ils se répartissent uniformément, c'est la règle de priorité qui manque. Si les deux codeurs sont d'accord partout du premier coup, la grille est probablement trop grossière pour distinguer quoi que ce soit d'utile.

Mesurer l'accord entre codeurs et savoir ce que ce chiffre ne dit pas

L'accord entre codeurs se mesure sur le double codage d'un échantillon commun, en tenant compte de l'accord dû au hasard, ce qui distingue cette mesure d'un simple pourcentage de concordance. Le principe importe plus que la formule retenue : deux codeurs qui utilisent une grille à trois catégories tombent d'accord assez souvent par chance seule, et un taux brut élevé n'y signifie rien. Le protocole documente la valeur obtenue, la taille de l'échantillon de contrôle et la date de la mesure, faute de quoi le chiffre reste ininterprétable.

Ce que l'accord ne dit pas mérite d'être énoncé aussi clairement. Un accord élevé indique que la grille est claire et appliquée de la même façon, pas que les intentions attribuées sont exactes. Deux analystes formés ensemble partagent les mêmes biais et s'accordent d'autant mieux. C'est pourquoi la mesure d'accord s'accompagne d'un contrôle par un tiers extérieur à l'équipe, sur un sous échantillon réduit, dont le rôle est précisément de faire apparaître les conventions implicites que le groupe ne voit plus.

Les cas limites qui décident de la qualité d'un codage

Quatre familles de cas limites concentrent l'essentiel des erreurs. L'ironie et le second degré, d'abord, où le lexique contredit l'intention et où le contexte de publication devient la seule ressource. La citation ensuite : reprendre un propos hostile pour le dénoncer n'est pas le soutenir, et un codage qui ignore les guillemets inverse le signal. La reprise mécanique, ensuite, où un même énoncé circule sans intention propre du compte qui le relaie. Les messages plurilingues ou fortement abrégés, enfin, dont la lecture demande une compétence linguistique dont l'équipe ne dispose pas toujours.

Le protocole traite ces cas par une consigne unique : en cas de doute persistant après application de la règle de priorité, l'unité est codée dans la catégorie résiduelle et signalée pour arbitrage, jamais forcée dans une catégorie plausible. Le taux d'unités arbitrées devient alors lui-même un indicateur de santé du corpus. Sa hausse signale un changement de la conversation observée avant même que les volumes ne bougent, ce qui en fait un signal faible utile pour l'équipe de veille.

L'outillage intervient en amont de ce travail, sur la constitution du corpus lui-même : un codage rigoureux appliqué à un corpus incomplet mesure surtout les angles morts de la collecte. NewsCore (www.newscore.fr) couvre en continu des millions de sources en plusieurs langues, trie les publications par pertinence et conserve le lien vers la source primaire, ce qui donne au codage une base large et traçable. Le reste, définition des catégories et arbitrage des cas limites, demeure le travail de l'organisation qui code.

Coder l'intention ne consiste pas à deviner ce qu'un auteur pensait, mais à décrire ce que son message fait dans l'espace public.

Questions fréquentes

Quelle différence entre analyse de sentiment et codage de l'intention ?

L'analyse de sentiment attribue une charge affective à un énoncé, positive, négative ou neutre, à partir de marqueurs présents dans le texte. Le codage de l'intention attribue une finalité au message : informer, alerter, mobiliser, dénigrer, se plaindre, vendre. Les deux variables sont indépendantes, un message positif dans son lexique portant parfois une intention hostile. En veille d'opinion, le sentiment décrit l'ambiance, l'intention indique ce que la publication cherche à produire, donc ce à quoi il faut répondre.

Combien de catégories d'intention retenir dans une grille de codage ?

Le nombre se choisit par l'usage, pas par souci d'exhaustivité. Une grille de quatre à six catégories couvre la plupart des besoins de veille d'opinion et reste applicable de façon stable par plusieurs codeurs. Au delà, l'accord se dégrade et les catégories rares se remplissent au hasard. Le bon réflexe consiste à partir d'un nombre restreint, à observer la catégorie résiduelle pendant quelques semaines, et à ne créer une catégorie nouvelle que lorsqu'elle s'y révèle massivement présente.

Le codage de l'intention est-il automatisable sur un gros corpus ?

Partiellement, et à condition d'accepter une division du travail. Un modèle appliqué à un corpus produit une proposition de codage rapide et homogène, utile pour dégrossir de gros volumes. La validité de cette proposition se contrôle exactement comme celle d'un codeur humain, par double codage d'un échantillon et mesure d'accord avec une référence établie par des analystes. Sans ce contrôle daté et documenté, un codage automatique produit des séries lisses dont personne ne sait ce qu'elles mesurent.