Ves al contingut
Founderz: inici de l’ús responsable de la IA

en col·laboració amb Microsoft

Cas pràctic · Avaluació governamental

Govern britànic: revisió humana de respostes a una consulta classificades per IA

Una eina d’IA va classificar per temes les respostes a una consulta pública. Un equip de persones va comprovar totes les decisions de l’eina i se’n van publicar els resultats.

Principis implicats

Quan i on

2025

Regne Unit

Què va passar

Quan el Departament de Treball i Pensions del Regne Unit va consultar la ciutadania sobre les seves propostes Pathways to Work, va rebre desenes de milers de respostes. L’Incubator for AI del govern va fer servir una eina anomenada Consult per suggerir temes i classificar-hi cada resposta.

Els equips responsables de les polítiques van editar la llista de temes de la IA i la van aprovar. Després, 125 revisors van comprovar i corregir la classificació de 87.738 respostes que havia fet l’eina. En 17.000 casos, dues persones van revisar la mateixa resposta perquè els avaluadors poguessin comparar la IA amb el criteri humà i els revisors entre si.

Els revisors van mantenir sense canvis el 73 % de les classificacions de l’eina. Segons la mesura de concordança de l’avaluació, l’acord entre l’eina i un revisor (0,816) va ser superior al de dos revisors entre si (0,710). El temps medià de comprovació va ser de 19 segons per resposta.

Què acrediten les fonts

L’avaluació, publicada pel govern l’octubre de 2025, estableix aquestes xifres per a una sola consulta. Va mesurar el temps de comprovació, no el de tota l’anàlisi. Els revisors veien els temes que l’eina ja havia seleccionat. Segons la nostra interpretació, això podria haver afavorit l’acord, una forma d’ancoratge que l’informe no posa a prova.

Implicacions

Si els revisors veuen primer el suggeriment de l’eina, pot ser difícil interpretar un grau elevat d’acord. Haurien triat el mateix tema si haguessin llegit la resposta pel seu compte?

Pràctica recomanada

  1. 01Dissenya la comprovació abans d’executar la IA: qui revisarà què i com sabràs que la revisió es fa de debò.
  2. 02Mesura amb quina freqüència els revisors coincideixen entre si per poder comparar-ho amb el seu acord amb la IA.
  3. 03Mantén les persones al capdavant de les decisions importants i registra com les has comprovat.

Fonts

Aquestes fonts sustenten els fets d’aquesta pàgina. Expliquem què acredita cadascuna i fins on arriba l’evidència. Les recomanacions són nostres. Consulta totes les fonts que fem servir.

  1. Consult Evaluation: DWP’s Pathways to Work consultation UK Incubator for AI (i.AI) · Datada el 27 d’agost de 2025; publicada el 30 d’octubre de 2025 · Avaluació governamental Els equips responsables de les polítiques van editar i aprovar els temes de la IA. En comprovar com l’eina havia classificat 87.738 respostes, 125 revisors van deixar-ne el 73 % sense canvis. La puntuació F1 de concordança va ser de 0,816 entre l’eina i un revisor i de 0,710 entre dos revisors. La mediana del temps de comprovació va ser de 19 segons. Límits: És una sola consulta. Va mesurar el temps de comprovació, no el de tota l’anàlisi.

Cita aquesta pàgina

Founderz (2026). Govern britànic: revisió humana de respostes a una consulta classificades per IA. L’Estàndard RUAI, edició de 2026. Desenvolupat per Founderz en col·laboració amb Microsoft. https://responsibleai.founderz.com/ca/toolkit/case-studies/uk-consult-human-review

Sota la llicència CC BY 4.0: comparteix i adapta amb atribució.