Protocole de validation du pilote

Ce protocole permet de mesurer la fidélité documentaire, la qualité des analyses, leur stabilité, les effets de biais testables et le coût de production de dossiers vérifiables. Il définit des objectifs proposés, non des résultats acquis. Il s’applique à la grille analytique initiale.

La réception doit distinguer quatre objets : la qualité du module automatique, la qualité du dossier après revue humaine, la couverture effective et la capacité de fonctionnement du système. Une amélioration sur un objet ne compense pas automatiquement une défaillance sur un autre.

Section § 01Préenregistrement du pilote#

Avant le test réservé, le responsable de l’évaluation fige :

• Les documents, éditions, dates de référence, empreintes et droits.
• Les thèmes, règles d’inclusion, exclusions et politique de sélection des faits.
• Les critères, leurs versions, les instructions et les configurations testées.
• Les jeux de développement et de test, ainsi que les groupes qui empêchent les fuites entre eux.
• Les métriques, seuils, règles d’abstention, comparaisons et analyses secondaires.
• Les plafonds de coût, les limites d’appels et les règles de reprise.
• Les personnes chargées de l’annotation, de l’arbitrage et de la réception.

Le préenregistrement est un fichier daté et versionné dont l’empreinte est conservée. Un changement ultérieur est explicitement un amendement. Si le test a déjà été consulté pour améliorer le système, il devient un jeu de développement et un nouveau test doit être constitué.

Section § 02Constitution des jeux#

2.1Corpus naturel principal#

Six programmes historiques sont choisis selon la politique documentaire du cahier des charges. Les textes complets et les annexes admises sont ingérés. Au moins 600 unités réelles sont doublement annotées sur les thèmes retenus : 300 unités de développement et 300 unités réservées au test final.

La séparation porte sur des programmes distincts, ainsi que sur des groupes de propositions et de passages équivalents. Un programme entier, avec ses annexes et versions, appartient au développement ou au test. Les répétitions et reformulations détectées entre programmes restent du même côté ou sont exclues du test. Le rapport explicite les limites de généralisation liées au petit nombre de programmes.

Des programmes historiques peuvent avoir figuré dans les données d’entraînement des modèles. Ce risque de mémorisation est une limite explicite : le terme « jeu réservé » décrit la séparation au sein du projet, pas une garantie d’inédit pour le modèle. Des cas construits modifiant les chiffres, conditions et dépendances éprouvent sa lecture du contexte fourni. Ils ne remplacent pas une validation ultérieure sur des documents récents et ne servent pas à revendiquer une généralisation déjà démontrée.

L’échantillon inclut des PDF natifs, des scans, des tableaux, des négations, des conditions, des chiffres, des phrases mixtes et des renvois à des annexes. La répartition par thème, longueur, format et type d’assertion est publiée. Les données naturelles servent à estimer le comportement sur le périmètre étudié ; les cas artificiels servent à éprouver des difficultés identifiées.

2.2Jeux spécialisés réservés#

Les jeux spécialisés peuvent recouper le test principal si les dépendances sont déclarées ; leurs effectifs ne s’additionnent pas comme des observations indépendantes. Ils ne peuvent pas recouper le développement par groupe sémantique.

PAIR et LONG peuvent inclure des cas construits lorsque les conflits naturels sont rares. La part construite est toujours indiquée et ses performances restent séparées. Un bon résultat sur des contradictions insérées artificiellement ne démontre pas le rappel sur les programmes naturels. Si l’effectif naturel est insuffisant, la qualification de généralisation reste non démontrée.

FACT doit comporter des assertions indéterminables ou nécessitant une abstention. Si une catégorie, notamment « contredite », est trop rare pour être qualifiée, on complète par un corpus réel réservé supplémentaire ou on limite la qualification. On ne fabrique pas artificiellement un taux de réussite global en modifiant les proportions après l’essai.

Section § 03Référentiel humain#

Deux annotateurs travaillent séparément sur chaque unité. Ils utilisent la même grille et les mêmes frontières de corpus, sans consulter les réponses des agents ni celles de l’autre annotateur. Ils peuvent indiquer une ambiguïté, un doute ou l’impossibilité de conclure.

Un troisième intervenant arbitre les désaccords en conservant les deux annotations initiales, les pièces et la raison de la décision. Les questions juridiques, budgétaires ou scientifiques complexes sont attribuées à une compétence adaptée. L’arbitrage ne transforme pas artificiellement un désaccord raisonnable en vérité incontestable : une étiquette « non tranchable » peut subsister.

Pour les tâches de preuve, le référentiel comprend les sources recherchées, leur version, leur périmètre et les calculs. Une réponse humaine sans preuve n’est pas un étalon suffisant. Les annotateurs déclarent leurs liens pertinents et sont récusés en cas de conflit direct.

L’accord avant arbitrage est rapporté par critère : pourcentage d’accord et coefficient adapté, par exemple alpha de Krippendorff pour les catégories. Objectif de calibration proposé : alpha d’au moins 0,80, avec effectifs et intervalle lorsque calculable. En dessous, le critère est clarifié ou conservé comme exploratoire. Un coefficient élevé ne suffit pas à prouver la justesse des annotations.

Les cas non tranchables restent dans l’évaluation de l’abstention et de la couverture. Ils sont exclus uniquement des calculs nécessitant une vérité de référence unique, avec le nombre et le motif de cette exclusion.

Section § 04Procédures comparées#

4.1Trois configurations#

• A — Procédure simple : un agent outillé applique la grille avec accès aux sources et aux calculs.
• B — Procédure à rôles distincts : structuration, analyses spécialisées, recherche, vérification et contradiction selon le cahier des charges.
• C — Contrôle d’agrégation : plusieurs évaluations indépendantes selon une règle de synthèse documentée, sans débat libre prolongé.

La comparaison principale est A contre B. C est un contrôle secondaire destiné à comprendre l’origine d’un éventuel gain. Le budget commun porte sur le coût monétaire maximal et sur des limites de recherche comparables ; les appels et volumes de texte sont également rapportés. Un modèle différent dans une configuration constitue un facteur expérimental explicite.

Les agents sont exécutés dans des sessions externes utilisant la CLI et les skills Aune. Pour l’évaluation comparative, ces sessions doivent fournir les mesures nécessaires par une instrumentation contrôlée. Une consommation seulement déclarée, estimée à partir d’un abonnement ou indisponible est identifiée comme telle ; elle ne permet pas de revendiquer une comparaison à coût d’inférence égal. La plateforme enregistre les dépôts, mais son journal API ne mesure pas à lui seul le coût ni les étapes internes des modèles externes.

Les trois configurations utilisent le même corpus figé, les mêmes critères, les mêmes dossiers de preuves pour le sous-test de jugement isolé et les mêmes permissions de recherche pour le test complet. Elles reçoivent trois exécutions distinctes dans un ordre randomisé. Les caches sont contrôlés pour éviter une contamination des réponses.

4.2Deux niveaux de vérification#

Le test de jugement fournit un dossier de preuves commun. Il mesure la capacité à conclure à partir de ces éléments. Le test de bout en bout laisse le système rechercher ses preuves ; il mesure aussi la sélection, la récupération et les omissions. Le rapport ne confond pas leurs performances.

Le test figé utilise des copies de sources à date constante. Un sous-test séparé sur le Web courant mesure les liens morts, changements et révisions. Cette séparation évite d’attribuer au modèle une variation provenant simplement du Web.

4.3Revue humaine chronométrée#

Les relecteurs évaluent des dossiers présentés sans indication de la configuration qui les a produits, dans un ordre varié. On mesure le temps actif de correction, les recherches supplémentaires et les changements de conclusion. Les interruptions sont exclues du temps actif mais comptées dans le délai de livraison.

La comparaison principale porte sur les sorties avant revue. Les dossiers finaux sont évalués séparément. Les évaluateurs ne peuvent pas seulement confirmer que les réponses corrigées par eux-mêmes sont justes : un contrôle indépendant d’un échantillon final est prévu.

Section § 05Définitions des mesures#

5.1Fidélité documentaire et structuration#

La fidélité des champs sensibles est le nombre de champs reproduits correctement divisé par le nombre de champs sensibles de référence. Un signe, une unité, une condition ou une cellule rattachée à la mauvaise ligne compte comme erreur matérielle. Les champs absents comptent aussi comme erreurs.

Le rappel d’extraction est le nombre d’unités de référence retrouvées avec leur sens conservé divisé par le nombre d’unités de référence. La précision d’extraction est le nombre d’unités extraites valides divisé par toutes les unités extraites. Les doublons et inventions diminuent la précision.

L’appariement entre unités respecte une règle écrite et une validation humaine des cas limites. Le système ne gagne pas artificiellement en rappel en découpant chaque fragment en plusieurs unités redondantes.

Pour les types d’assertions, le rapport comprend matrice de confusion, précision, rappel et F1 par classe. La macro F1 est la moyenne non pondérée des F1 des classes évaluables ; les classes absentes ou insuffisamment représentées sont signalées et ne sont pas implicitement considérées réussies.

5.2Preuves et verdicts#

La précision des verdicts conclusifs est le nombre de conclusions correctes parmi toutes les conclusions rendues comme étayées, contredites ou exactes avec contexte matériel manquant. Les abstentions n’entrent pas dans ce dénominateur, mais sont mesurées séparément.

La couverture conclusive est le nombre de conclusions conclusives divisé par le nombre d’assertions éligibles pour lesquelles le référentiel humain a pu conclure. Les abstentions sur ces cas réduisent la couverture. Les fausses conclusions sur les cas réellement indéterminables sont comptées comme erreurs distinctes.

La validité d’une citation exige simultanément l’existence du passage, la fidélité de sa restitution et sa pertinence. On rapporte séparément les sources inexistantes, citations infidèles et preuves inappropriées. Le contrôle d’existence seul ne peut être présenté comme une vérification de vérité.

5.3Cohérence#

La précision des contradictions est le nombre de contradictions explicites confirmées par le référentiel divisé par le nombre de contradictions explicites signalées. Une tension conditionnelle présentée comme contradiction est une erreur.

Le rappel de recherche est le nombre de conflits connus retrouvés avant présentation d’une paire ciblée divisé par le nombre de conflits connus dans LONG. La qualité de qualification sur PAIR est mesurée séparément. Les systèmes qui savent juger une paire mais ne la retrouvent pas dans un programme ne sont pas crédités d’une détection réussie de bout en bout.

5.4Stabilité et identité#

Un changement matériel est une modification de type de verdict, de sens de la conclusion, de qualification de contradiction ou de niveau d’importance qui change la synthèse. Une simple reformulation ne compte pas. Les décisions de comparaison sont revues sur un échantillon et les désaccords enregistrés.

La stabilité est la proportion de cas dont les conclusions matérielles sont identiques lors des trois exécutions. Les cas où les trois réponses sont identiquement erronées restent stables mais échouent aux mesures de justesse.

Pour IDENT, chaque cas possède une version sans indice et des variantes d’identité assignées aléatoirement, sans modifier son contenu. Les assertions portant réellement sur l’auteur sont exclues. La mesure est le pourcentage de paires dont la conclusion change matériellement ; le sens du changement et les abstentions sont également rapportés.

Un test supplémentaire vérifie que permuter l’ordre des documents, reformuler un titre neutre ou répéter un passage ne modifie pas les conclusions factuelles. Les variations qui affectent légitimement l’analyse stylistique sont évaluées avec des attentes propres à ce critère.

5.5Incertitude statistique#

Les proportions sont accompagnées d’intervalles à 95 %, par exemple de Wilson. Pour les métriques composites ou appariées, une méthode de rééchantillonnage documentée peut être utilisée. Les résultats tiennent compte du regroupement par programme ou proposition : les variantes d’un même cas ne sont pas présentées comme des centaines d’observations indépendantes.

Avec seulement six programmes, l’incertitude entre programmes reste importante. Les résultats par programme, thème, format et type d’assertion sont donc publiés. L’absence d’écart statistiquement détecté ne prouve pas l’absence de biais.

Section § 06Seuils et décision de qualification#

Les seuils ci-dessous sont proposés pour le premier pilote. Ils doivent être gelés avant essai. Si un intervalle ou un effectif ne permet pas la conclusion attendue, le résultat est « non démontré », même lorsque l’estimation ponctuelle atteint la cible.

Pour Q04 et Q06, une famille de résultats exige au moins 60 conclusions évaluées et le respect du critère d’intervalle ; 60 cas ne garantissent pas que ce critère soit satisfait. FACT ou PAIR doivent être étendus si nécessaire, avec un nouveau lot réservé. Les classes rares sont présentées comme non qualifiées tant que leur effectif ne permet pas l’affirmation attendue. Les cas construits ne qualifient que la difficulté construite.

L’indicateur principal de Q12 doit être choisi avant les essais : taux d’erreurs matérielles, rappel d’extraction ou temps humain de correction, par exemple. Sa différence minimale utile doit aussi être fixée. Les analyses secondaires sont identifiées comme telles. Sans gain démontré, la procédure simple reste la référence ; l’équipe ne multiplie pas les agents pour des raisons de présentation.

Q01 à Q10 qualifient des modules et ne dispensent jamais de revue humaine dans le pilote. Q11, la présence des preuves et les approbations éditoriales sont des conditions bloquantes de publication. Un échec analytique limite le périmètre automatisé ; une publication entièrement revue peut rester possible selon PIL-06, avec ce statut explicite.

Section § 07Cas fonctionnels de recette#

Les résultats de cette table devront être renseignés lors de l’implémentation. Toutes les lignes sont actuellement « à exécuter ». Les cas inventés servent à tester le système, sans être présentés comme des faits politiques réels.

Chaque cas produit une preuve de test : entrée, version, résultat observé, attendu, décision, évaluateur et artefacts utiles. Une simple mention « testé » ne suffit pas.

Section § 08Erreurs critiques et traitement#

Une erreur critique est une source ou citation inventée publiée, un verdict matériellement inversé publié, une perte de condition qui change le sens, une publication sans autorisation, une fuite de données réservées ou une instruction externe ayant modifié les permissions ou la méthode.

Toute erreur critique dans un dossier final bloque sa publication. Si elle est découverte après publication, le constat est examiné sans attendre le cycle normal, avec suspension si nécessaire, correction des éléments dépendants et avis visible. L’étendue de l’erreur détermine si le module ou toute la campagne doit être suspendu.

« Zéro erreur observée » décrit l’échantillon et le contrôle effectués ; cette formule ne garantit jamais un taux d’erreur nul dans tous les usages futurs. Le rapport de réception doit préserver cette distinction.

Section § 09Rapport de réception#

Le rapport final présente les résultats positifs comme les échecs, y compris lorsque la procédure simple obtient de meilleurs résultats. Il contient :

• Le manifeste des versions et les écarts au protocole initial.
• La composition des jeux et les limites de disponibilité.
• L’accord humain initial, les arbitrages et cas non tranchables.
• Les métriques par tâche, classe, programme et format, avec effectifs et incertitude.
• Les performances naturelles séparées des tests construits.
• Les résultats avant et après revue humaine.
• Les effets des variantes d’identité et d’ordre.
• Les coûts, latences et temps humains, avec médiane et dispersion.
• Les cas de recette, incidents, corrections et restrictions de périmètre.
• La décision motivée de qualification et les noms des responsables.

Les coûts sont exprimés par document, par cent unités, par vérification factuelle et par constat finalement publié. Le taux de conversion en résultat publiable et le temps de reprise sont indiqués pour éviter qu’un grand volume de brouillons masque une faible utilité réelle.

Section § 10Conditions avant ouverture publique#

L’ouverture sur le périmètre qualifié exige : responsables désignés, méthode publiée, droits documentaires traités, parcours de contestation opérationnel, tests de sécurité bloquants réussis, sauvegarde restaurée avec succès, dossiers revus, limites affichées et protocole de suivi des corrections actif.

Un contrôle périodique est défini avant ouverture : échantillon de nouveaux dossiers, suivi des corrections, répétition des tests sentinelles après changement de modèle ou d’outil, examen des écarts de couverture. La fréquence dépendra de la cadence réelle ; elle ne doit pas être déduite de la seule disponibilité technique des modèles.

La réception est une décision explicite, limitée au périmètre testé. Elle ne vaut pas qualification automatique pour d’autres élections, langues, formats, domaines ou modèles.