Note de méthode : tenir un carnet de prévisions datées et mesurer sa calibration a posteriori

Un carnet de prévisions datées n'a de valeur que si chaque entrée peut, un jour, être tranchée sans ambiguïté entre réalisée et non réalisée. Cette exigence élimine d'emblée la plupart des formulations spontanées, qui restent vagues sur l'échéance, le critère ou l'objet même de l'anticipation. Tenir un tel carnet est un exercice de discipline rédactionnelle avant d'être un exercice de jugement : la qualité de la mesure finale dépend entièrement de la précision de l'énoncé initial.

Formuler une prévision vérifiable

Une prévision vérifiable s'écrit sous une forme qui ne laisse aucune place à une lecture rétrospective flexible. Elle nomme un objet précis, décrit l'état futur envisagé en des termes qui ne dépendent pas d'une appréciation ultérieure du rédacteur, et évite les formulations qui pourraient être déclarées vraies quelle que soit l'issue. Une anticipation qui reste vague sur ce qui compterait comme sa confirmation n'est pas une prévision : c'est une intuition non testable, qui ne peut alimenter aucune mesure de calibration.

La rédaction gagne à séparer explicitement l'énoncé de la prévision de son échéance et de son critère de résolution, plutôt que de les mêler dans une phrase unique. Cette séparation force le rédacteur à formaliser chacun des trois éléments indépendamment, ce qui révèle souvent qu'un énoncé qui semblait clair à l'oral devient ambigu dès qu'il faut fixer par écrit la date exacte à laquelle il sera jugé ou la source qui permettra de trancher.

Fixer l'échéance et le critère de résolution

L'échéance doit être une date ou une fenêtre temporelle fixe, connue au moment où la prévision est consignée, et non une formulation ouverte du type à terme ou prochainement, qui rend impossible tout jugement de non réalisation : une échéance ouverte permet toujours de repousser le verdict, ce qui revient à ne jamais clore la prévision. Une fenêtre trop large affaiblit également la mesure, en rendant presque toute issue compatible avec l'énoncé initial.

Le critère de résolution précise ce qui, concrètement, permettra de trancher : quelle source fera foi, quel seuil sera considéré comme atteint, quelle formulation alternative comptera comme une réalisation partielle ou comme un échec. Ce critère se rédige avant que l'issue ne soit connue, jamais après, sous peine de le voir se plier discrètement au résultat observé plutôt que de le juger selon une règle fixée à l'avance.

Annoncer une probabilité, pas une certitude

Chaque prévision s'accompagne d'une probabilité annoncée, exprimée comme un degré de confiance dans la réalisation de l'énoncé avant l'échéance. Cette probabilité n'est pas un habillage stylistique : elle constitue la donnée centrale sur laquelle repose toute la mesure de calibration, puisque c'est elle qui sera confrontée, sur un ensemble de prévisions, au taux réel de réalisation observé.

Le rédacteur doit résister à la tentation d'arrondir systématiquement sa probabilité vers des valeurs rondes qui paraissent plus prudentes ou plus consensuelles. Une probabilité choisie pour éviter l'engagement, plutôt que pour refléter le jugement réel du rédacteur au moment de l'écriture, appauvrit la mesure de calibration en écrasant la variabilité qui seule permet de distinguer un jugement fin d'un jugement approximatif.

Clore une prévision sans complaisance

Clore une prévision consiste à appliquer le critère de résolution fixé au départ, sans réviser ce critère à la lumière de l'issue observée. La tentation la plus fréquente consiste à requalifier après coup un énoncé raté en énoncé partiellement vrai, ou à invoquer une circonstance imprévue pour neutraliser un échec : cette révision a posteriori détruit la valeur du carnet, puisqu'elle rend chaque entrée conforme par construction, quel que soit ce qui s'est réellement produit.

La clôture gagne à être effectuée, si possible, par une personne distincte de l'auteur de la prévision, ou à défaut selon une procédure écrite qui limite la marge d'appréciation au moment du verdict. Ce n'est pas une question de confiance envers le rédacteur : c'est une reconnaissance que tout jugement humain, y compris le plus honnête, tend à se laisser influencer par l'issue une fois qu'elle est connue.

Lire l'écart entre confiance annoncée et taux de réalisation

La calibration se mesure en regroupant les prévisions closes par tranche de probabilité annoncée, puis en comparant, pour chaque tranche, la probabilité moyenne annoncée au taux réel de réalisation observé dans cette tranche. Un rédacteur bien calibré verra ses prévisions annoncées à un niveau de confiance élevé se réaliser plus souvent que celles annoncées à un niveau modéré, et l'écart entre confiance et réalisation restera faible dans chaque tranche. Cette lecture par tranche suppose un nombre suffisant d'entrées dans chaque catégorie de probabilité : une seule prévision annoncée à un niveau donné ne permet aucune conclusion sur la calibration à ce niveau, quel qu'en soit le résultat.

Un écart systématique dans un sens révèle un biais identifiable : des prévisions qui se réalisent moins souvent que la confiance annoncée ne le laissait attendre signalent une surconfiance, tandis que des prévisions qui se réalisent plus souvent que la confiance annoncée signalent une sous-confiance, où le rédacteur se retient d'exprimer un jugement pourtant fondé. Ni l'un ni l'autre ne se corrige par une seule relecture : le biais se détecte sur un ensemble suffisant de prévisions closes, jamais sur un cas isolé.

Ce que le carnet ne mesure pas

Un carnet de prévisions mesure la calibration du jugement, pas sa valeur décisionnelle. Une prévision peut être parfaitement calibrée, avec une confiance annoncée qui correspond exactement au taux de réalisation observé, sans que cette information ait eu la moindre utilité pour une décision prise en amont de l'échéance. La calibration est une propriété du jugement lui-même ; l'utilité d'un signal pour l'action est une question distincte, qui appelle sa propre évaluation.

Un dispositif qui documente ce carnet dans la durée facilite ensuite un travail éditorial plus large sur les faits publics : NewsCore couvre l'actualité économique et relie les prévisions passées aux faits qui les confirment ou les infirment, sur www.newscore.fr. Cette mise en relation ne se substitue pas au carnet lui-même, qui reste l'instrument premier de la mesure de calibration.

Questions fréquentes

Faut-il inclure dans le carnet des prévisions dont l'échéance est très lointaine ? Oui, à condition que l'échéance reste une date fixe connue dès la rédaction ; une échéance lointaine allonge simplement le délai avant que la prévision ne puisse être close, sans affecter la validité de la mesure une fois l'échéance atteinte.

Combien de prévisions faut-il avoir closes avant de tirer une conclusion sur sa calibration ? Il n'existe pas de seuil universel, mais un petit nombre de prévisions rend la lecture par tranche de probabilité instable ; la pratique courante consiste à accumuler les entrées sur plusieurs mois avant de comparer confiance annoncée et taux de réalisation par tranche.

Que faire d'une prévision dont le critère de résolution s'avère mal formulé une fois l'échéance atteinte ? Elle doit être close selon le critère tel qu'il a été écrit, même imparfait, et signalée comme mal formulée pour la suite ; corriger le critère après coup revient à réviser la question posée en fonction de la réponse obtenue.

Une probabilité annoncée à un niveau extrême, proche de zéro ou de cent, a-t-elle un sens particulier ? Elle exprime une quasi-certitude et doit être réservée à des énoncés dont l'issue paraît effectivement acquise ; un usage trop fréquent de ces valeurs extrêmes appauvrit la mesure de calibration, qui gagne en finesse lorsque les probabilités annoncées se répartissent sur toute l'échelle.