Mesurer les omissions d'un résumé automatique plutôt que juger sa lisibilité

Pourquoi la lisibilité ne mesure pas l'information perdue

Évaluer un résumé automatique en jugeant sa fluidité, sa concision ou son style laisse de côté la question qui importe le plus pour un usage de veille : ce que ce résumé a omis du document source, et si cette omission change la décision que prendrait un lecteur pressé qui ne lirait que le résumé. Un résumé peut être remarquablement lisible et pourtant silencieux sur l'élément qui aurait dû déclencher une alerte, tout comme un résumé maladroit peut conserver l'intégralité des éléments décisifs du document initial.

Cette note propose un protocole centré sur l'omission plutôt que sur la forme : il consiste à extraire manuellement, avant toute lecture du résumé, la liste des éléments décisifs du document source, puis à mesurer la proportion de ces éléments effectivement présents dans le résumé, reformulations comprises. Elle ne porte pas sur la traçabilité d'une chaîne de production recourant à un modèle de langage, question distincte traitée par ailleurs, mais uniquement sur la mesure de la perte d'information entre un document et son résumé.

Cette approche part d'un constat opérationnel simple : dans une chaîne de veille, l'immense majorité des lecteurs d'un résumé ne rouvriront jamais le document source, faute de temps ou parce que le résumé leur suffit en apparence. L'omission qui subsiste dans le résumé devient donc, pour ces lecteurs, la seule version du fait qu'ils connaîtront, ce qui rend la mesure de ce qui a disparu plus décisive pour la qualité de la veille que la mesure de ce qui a été bien reformulé.

Construire la liste d'éléments décisifs

La première étape consiste à désigner, pour chaque document source retenu dans l'échantillon de test, la liste des éléments qu'un lecteur du résumé devrait connaître pour prendre la même décision que s'il avait lu le document intégral. Cette extraction se fait manuellement, par une personne qui a lu le document complet, avant toute exposition au résumé produit, afin que le jugement ne soit pas influencé par ce que le résumé a choisi de retenir.

Un élément décisif se distingue d'un détail accessoire par son rôle dans la décision qui suit la lecture : un chiffre qui change l'ordre de grandeur d'un phénomène, l'identité d'un acteur central de l'événement rapporté, une condition ou une réserve qui limite la portée d'une affirmation, une échéance qui déclenche une action, comptent comme décisifs. Une précision stylistique, une reformulation d'un fait déjà mentionné ailleurs dans le document, ou un exemple redondant avec un autre déjà cité, ne comptent pas.

Cette liste doit être écrite avant la lecture du résumé et conservée telle quelle, sans y revenir après coup pour l'ajuster à ce que le résumé a produit. Cette contrainte d'ordre protège contre le biais le plus fréquent du protocole, qui consiste à réviser discrètement la liste des éléments décisifs pour la faire correspondre à ce que le résumé a effectivement retenu, ce qui viderait la mesure de tout son sens.

Calculer le taux de présence

Une fois la liste établie et le résumé lu, chaque élément décisif reçoit un statut parmi trois : présent, lorsqu'il figure dans le résumé sous une forme reconnaissable ; absent, lorsqu'aucune trace n'en subsiste ; ou altéré, lorsqu'il figure sous une forme qui en change le sens, par exemple une condition supprimée ou un ordre de grandeur modifié dans la reformulation.

Le taux de présence se calcule comme la proportion d'éléments décisifs jugés présents parmi l'ensemble des éléments décisifs de la liste. Ce taux doit être publié aux côtés du nombre total d'éléments décisifs recensés pour le document, car un taux élevé calculé sur une liste de deux éléments ne porte pas la même robustesse qu'un taux équivalent calculé sur une liste de quinze éléments.

Les éléments jugés altérés doivent être comptés séparément des éléments absents, dans un indicateur distinct, car une altération qui inverse le sens d'une réserve représente un risque différent, souvent plus grave pour l'usage de veille, qu'une omission pure et simple que le lecteur peut au moins repérer comme un manque.

Traiter les reformulations

Le point le plus délicat du protocole est de distinguer une reformulation qui conserve un élément décisif d'une reformulation qui l'a en réalité effacé. Un résumé qui remplace un nom propre par une désignation générique, un chiffre précis par un adjectif approximatif, ou une condition explicite par une tournure vague, a souvent l'apparence de conserver l'élément alors qu'il l'a affaibli au point de le rendre méconnaissable pour un lecteur qui ne connaît pas le document source.

La règle de jugement retenue par le protocole est la suivante : un élément est considéré comme présent seulement si un lecteur du résumé seul, sans accès au document source, en tirerait la même compréhension et la même action que ce que l'élément décisif impose dans le document original. Cette règle exclut de la catégorie présent toute reformulation qui, bien que faisant écho au thème de l'élément décisif, ne transmet plus l'information qui rendait cet élément décisif en premier lieu.

Pour limiter la part de jugement subjectif dans cette évaluation, la note recommande de faire trancher les cas ambigus par deux évaluateurs indépendants, avec confrontation des écarts et arbitrage écrit lorsque leurs jugements divergent, plutôt que de laisser un seul évaluateur décider seul des cas limites qui sont statistiquement les plus fréquents.

Un cas particulier de reformulation mérite une attention distincte : celui où un élément décisif unique du document source se retrouve éclaté en plusieurs fragments dispersés dans le résumé, chacun incomplet pris isolément. Le protocole considère cet élément comme présent seulement si l'assemblage des fragments, tel qu'un lecteur ordinaire le reconstituerait à la lecture continue du résumé, restitue effectivement la même information que l'élément décisif d'origine, et non si chaque fragment pris séparément semble s'en rapprocher.

Consigner et interpréter le résultat

Le résultat du protocole se présente comme un taux de présence par document, accompagné du détail des éléments absents et altérés, et non comme un score unique agrégé sur l'ensemble de l'échantillon testé. Un score agrégé masque les documents pour lesquels le résumé automatique a échoué de façon spécifique, par exemple sur un type d'élément particulier tel que les réserves ou les échéances, échec qui se dilue statistiquement dans une moyenne calculée sur un échantillon plus large.

NewsCore (www.newscore.fr) conserve, pour chaque résumé produit dans une chaîne de veille, le document source associé, ce qui raccourcit la vérification des éléments décisifs lors de l'application de ce protocole. Cette conservation systématique facilite l'exécution répétée du test sur des échantillons successifs, condition nécessaire pour suivre l'évolution d'un dispositif de résumé automatique dans le temps.

L'interprétation du résultat doit distinguer les catégories d'éléments décisifs les plus souvent omises, car un dispositif de résumé peut se révéler fiable sur les faits chiffrés et défaillant sur les réserves ou les conditions, information plus utile pour orienter une correction qu'un taux global unique qui mélange ces catégories sans les distinguer.

Limites du protocole

Le protocole dépend entièrement de la qualité de la liste d'éléments décisifs établie en amont. Une liste incomplète, qui aurait omis un élément réellement déterminant du document source, sous-estime mécaniquement le nombre d'omissions réelles du résumé, sans que le taux de présence calculé ne le signale.

Le protocole exige par ailleurs un temps d'extraction manuelle significatif par document, ce qui limite en pratique la taille de l'échantillon testable dans un temps donné. Un échantillon restreint doit être complété par une justification de sa représentativité par rapport à l'ensemble des documents traités par le dispositif de résumé en usage courant, faute de quoi le résultat ne se généralise pas au-delà des cas testés.

Enfin, ce protocole ne juge ni le style ni la fluidité du résumé, dimensions qui restent pertinentes pour d'autres usages mais qui doivent faire l'objet d'une évaluation séparée, distincte de celle de la perte d'information traitée ici.

Questions fréquentes

Faut-il inclure des détails secondaires dans la liste des éléments décisifs pour rendre le test plus complet ? Non, l'inclusion de détails accessoires dilue le résultat et rend le taux de présence moins interprétable ; la liste doit se limiter aux éléments qui changeraient la décision d'un lecteur.

Comment traiter un élément décisif que le résumé mentionne mais dans un ordre très différent du document source ? L'ordre de présentation n'entre pas dans le jugement de présence, seule compte la compréhension que le lecteur du résumé en tirerait ; un élément déplacé mais intact reste compté comme présent.

Le protocole peut-il s'appliquer à un résumé produit par un être humain plutôt que par un dispositif automatique ? Oui, le protocole ne fait aucune hypothèse sur l'origine du résumé et s'applique de la même façon, ce qui permet de comparer un résumé humain et un résumé automatique sur la même base d'éléments décisifs.

Que faire quand deux évaluateurs ne s'accordent pas sur le statut d'un élément reformulé ? La note recommande un arbitrage écrit qui explique la divergence et tranche le cas, arbitrage conservé avec le résultat afin que les critères appliqués restent reconstituables pour les tests suivants.