Aller au contenu
Founderz : accueil de la boîte à outils pour une utilisation responsable de l’IA

en collaboration avec Microsoft

Étude de cas · Évaluation gouvernementale

Gouvernement britannique : examen humain des réponses à une consultation classées par l’IA

Un outil d’IA a classé des réponses à une consultation publique par thèmes. Des personnes ont vérifié chacune de ses décisions et les résultats ont été publiés.

Principes concernés

Quand et où

2025

Royaume-Uni

Les faits

Lorsque le ministère britannique du Travail et des Retraites a consulté le public sur ses propositions Pathways to Work, il a reçu des dizaines de milliers de réponses. L’Incubator for AI du gouvernement a utilisé un outil nommé Consult pour proposer des thèmes et y classer chaque réponse.

Les équipes chargées des politiques publiques ont modifié et validé la liste de thèmes de l’IA. Puis 125 personnes ont vérifié et corrigé le classement de 87 738 réponses. Pour 17 000 d’entre elles, deux personnes ont examiné la même réponse afin de comparer l’IA au jugement humain et les personnes entre elles.

Les évaluateurs ont conservé 73 % des classements de l’outil. Selon la mesure d’accord de l’évaluation, l’outil et un évaluateur concordaient davantage (0,816) que deux évaluateurs entre eux (0,710). La vérification médiane durait 19 secondes par réponse.

Ce que les sources établissent

L’évaluation publiée par le gouvernement en octobre 2025 établit ces chiffres pour une seule consultation. Elle chronométrait la vérification, pas l’analyse complète. Les évaluateurs voyaient les thèmes déjà sélectionnés par l’outil. Selon notre lecture, cela a pu les inciter à acquiescer, une forme d’ancrage que le rapport ne teste pas.

Conséquences pratiques

Si les évaluateurs voient d’abord la suggestion de l’outil, un fort taux d’accord peut être difficile à interpréter. Auraient-ils choisi le même thème en lisant la réponse seuls ?

Pratiques recommandées

  1. 01Concevez le contrôle avant de lancer l’IA : qui examine quoi et comment savoir si l’examen est réel.
  2. 02Comparez la fréquence des accords entre deux évaluateurs à celle des accords entre un évaluateur et l’IA.
  3. 03Laissez les décisions importantes aux personnes et consignez vos vérifications.

Sources

Ces sources étayent les faits présentés sur cette page. Pour chacune, nous précisons ce qu’elle établit et les questions qu’elle laisse ouvertes. Les recommandations sont les nôtres. Voir toutes nos sources.

  1. Consult Evaluation: DWP’s Pathways to Work consultation UK Incubator for AI (i.AI) · Datée du 27 août 2025 ; publiée le 30 octobre 2025 · Évaluation gouvernementale Les équipes chargées des politiques publiques ont modifié puis approuvé les thèmes proposés par l’IA. Au total, 125 évaluateurs ont vérifié le classement de 87 738 réponses et laissé 73 % des classements inchangés. Le score d’accord F1 était de 0,816 entre l’outil et un évaluateur, et de 0,710 entre deux évaluateurs. Le temps médian de vérification était de 19 secondes. Limites : Une seule consultation. Chronomètre la vérification, pas l’analyse complète.

Citer cette page

Founderz (2026). Gouvernement britannique : examen humain des réponses à une consultation classées par l’IA. Le Référentiel RUAI, édition 2026. Développé par Founderz en collaboration avec Microsoft. https://responsibleai.founderz.com/fr/toolkit/case-studies/uk-consult-human-review

Sous licence CC BY 4.0: partage et adaptation avec attribution.