Jeu de données sur la part d'un corpus de veille accessible après authentification

Un jeu de données mesurant la part d'un corpus de veille accessible seulement après inscription, authentification ou adhésion pose une question de reproductibilité avant d'être une question de coût. Un résultat construit à partir de sources dont l'accès est conditionné n'est vérifiable, par un tiers qui ne dispose pas des mêmes accès, que dans la mesure où ce tiers peut retrouver et rejouer les mêmes sources. Quantifier cette part conditionnée est le préalable à toute discussion sur la solidité d'un résultat de veille.

Ce que l'accès conditionné retire à la reproductibilité

La reproductibilité d'une étude de veille suppose qu'un tiers, muni de la même méthode et des mêmes références de sources, puisse retrouver des observations comparables à celles publiées. Cette condition est automatiquement satisfaite pour une source librement accessible : n'importe qui peut suivre la référence et consulter le même contenu. Elle ne l'est plus dès qu'une source exige une inscription préalable, une authentification par identifiants, ou une adhésion à une organisation particulière pour être consultée.

Dans ce second cas, le tiers qui tente de vérifier un résultat se heurte à une barrière que l'auteur original a franchie mais que lui-même ne peut pas nécessairement franchir, faute de disposer du même statut, de la même adhésion ou du même accès. Le résultat reste peut être exact, mais il devient invérifiable de façon indépendante pour quiconque ne partage pas les conditions d'accès de l'auteur, ce qui est une propriété différente de l'exactitude et qu'il ne faut pas confondre avec elle.

Cette perte de reproductibilité n'est pas binaire : elle dépend de la part du corpus concernée. Une étude qui s'appuie très majoritairement sur des sources librement accessibles, avec une minorité de références conditionnées en appui, reste largement vérifiable dans ses grandes lignes. Une étude dont la majorité des références déterminantes exige un accès conditionné devient, à l'inverse, largement invérifiable pour un lecteur extérieur, quel que soit par ailleurs le sérieux de la méthode employée en amont.

Un étiquetage du régime d'accès source par source

La réponse méthodologique à cette perte de reproductibilité commence par un étiquetage systématique : chaque source citée dans un corpus de veille reçoit une mention explicite de son régime d'accès, distincte de toute mention de son contenu ou de sa fiabilité. Ce régime distingue au minimum l'accès libre sans condition, l'accès nécessitant une inscription simple mais gratuite, l'accès nécessitant une authentification par identifiants spécifiques, et l'accès réservé à une adhésion ou un statut particulier.

Cet étiquetage n'a pas vocation à disqualifier les sources conditionnées, qui peuvent être aussi solides, voire davantage, que des sources en accès libre. Il a pour seule fonction de rendre visible, pour tout lecteur du corpus, la part de ses fondations qu'il pourra effectivement rejouer lui-même et la part qui échappera à sa propre vérification faute d'accès équivalent. Cette transparence déplace la question de l'accès conditionné du terrain implicite, où elle reste invisible tant que personne ne cherche à vérifier, vers un terrain explicite où elle est assumée dès la publication.

L'étiquetage gagne à être agrégé au niveau du corpus entier, pas seulement affiché source par source : une proportion globale du corpus placée derrière chaque régime d'accès donne au lecteur une mesure synthétique de la reproductibilité effective de l'ensemble, plus lisible qu'une longue liste de mentions individuelles qu'il faudrait comptabiliser soi-même pour en tirer une vue d'ensemble.

Publier un résultat vérifiable malgré un corpus partiellement conditionné

Un corpus partiellement conditionné n'interdit pas de publier un résultat vérifiable : il impose de séparer, dans la présentation du résultat, ce qui repose sur la part librement rejouable de ce qui s'appuie sur la part conditionnée. Un résultat qui tient déjà, dans ses grandes lignes, sur la seule part en accès libre du corpus offre au lecteur une base de vérification immédiate, même si des éléments complémentaires viennent d'ailleurs.

Quand une affirmation centrale du résultat repose spécifiquement sur une source conditionnée, la publication gagne à le signaler explicitement au niveau de cette affirmation précise, plutôt que de le noyer dans une mention générale en fin de document. Un lecteur qui sait exactement quelle partie du résultat il peut vérifier directement et quelle partie il devra prendre sur la base de la réputation de la source conditionnée dispose d'une information bien plus actionnable qu'un simple avertissement global sur la nature mixte du corpus.

Une troisième pratique consiste à documenter, pour les sources conditionnées les plus déterminantes, les éléments du contenu qui peuvent être reformulés ou décrits sans reproduire le contenu protégé lui-même, de façon à donner au lecteur une prise sur la nature de l'information sans exiger de lui qu'il obtienne le même accès. Cette description ne remplace pas l'accès direct, mais elle réduit l'opacité totale qui prévalait quand une source conditionnée n'était mentionnée que par son nom, sans aucune indication de ce qu'elle contenait réellement.

Mesurer la part conditionnée d'un corpus

Le jeu de données lui-même consiste à examiner un ensemble de corpus de veille et à calculer, pour chacun, la part des références classées dans chaque régime d'accès défini plus haut. Cette mesure ne porte pas sur le nombre de sources distinctes consultées mais sur le poids de chaque régime dans les références effectivement citées à l'appui des affirmations du corpus, ce qui reflète mieux la dépendance réelle du résultat à l'accès conditionné qu'un simple compte de sources.

La part conditionnée mesurée varie fortement selon le domaine de veille considéré, certains domaines s'appuyant structurellement sur des sources professionnelles ou institutionnelles à accès restreint quand d'autres reposent presque entièrement sur des sources ouvertes. Cette variation interdit de fixer un seuil unique de part conditionnée acceptable, valable pour tout corpus : la lecture pertinente compare un corpus à d'autres corpus du même domaine, pas à une norme générale décorrélée du terrain étudié.

Un suivi répété de cette part conditionnée dans le temps permet également de détecter une évolution progressive vers davantage de sources fermées dans un domaine donné, ce qui aurait une conséquence directe sur la reproductibilité moyenne des travaux menés dans ce domaine, indépendamment de la qualité individuelle de chaque étude. NewsCore couvre un large éventail de sources ouvertes et relie chacune de ses analyses sur www.newscore.fr à des références directement consultables par le lecteur.

Questions fréquentes

Une source conditionnée est elle moins fiable qu'une source en accès libre ? Non, le régime d'accès ne dit rien de la qualité du contenu ; il dit seulement si un tiers pourra ou non retrouver et vérifier directement la même source, ce qui est une question de reproductibilité distincte de la fiabilité.

Comment étiqueter le régime d'accès d'une source dans un corpus ? En distinguant au minimum l'accès libre sans condition, l'inscription simple gratuite, l'authentification par identifiants spécifiques, et l'adhésion ou le statut particulier, mention associée à chaque référence citée plutôt qu'affichée une seule fois pour l'ensemble du corpus.

Un corpus largement conditionné peut il quand même produire un résultat vérifiable ? En partie : la part du résultat qui repose sur des sources librement accessibles reste vérifiable directement, tandis que la part reposant sur des sources conditionnées doit être signalée comme telle affirmation par affirmation plutôt que noyée dans un avertissement global.

Existe t il un seuil acceptable de part conditionnée dans un corpus de veille ? Non, ce seuil varie fortement selon le domaine étudié ; la comparaison pertinente se fait entre corpus d'un même domaine plutôt que contre une norme générale valable pour tout type de veille.