Caso práctico · Evaluación gubernamental
Consulta pública británica: 125 personas revisaron cómo clasificó la IA las respuestas
Una herramienta de IA clasificó por temas las respuestas a una consulta pública. Un equipo revisó cada clasificación y los resultados se hicieron públicos.
Principios relacionados
Cuándo y dónde
2025
Reino Unido
Qué ocurrió
Cuando el Ministerio de Trabajo y Pensiones del Reino Unido sometió sus propuestas Pathways to Work a consulta pública, recibió decenas de miles de respuestas. La Incubadora de IA del Gobierno utilizó una herramienta llamada Consult para proponer temas y clasificar cada respuesta en ellos.
Los equipos encargados de las políticas públicas revisaron, modificaron y aprobaron la lista de temas de la IA. Después, 125 revisores revisaron la clasificación de 87 738 respuestas y corrigieron los errores. De esas respuestas, 17 000 pasaron por dos revisores. Así se pudo comparar en qué medida coincidían la herramienta y un revisor, y en qué medida coincidían dos revisores entre sí.
Los revisores mantuvieron sin cambios el 73 % de las clasificaciones de la herramienta. El índice de concordancia fue mayor entre la herramienta y un revisor (0,816) que entre dos revisores (0,710). La mediana del tiempo de comprobación fue de 19 segundos por respuesta.
Qué acreditan las fuentes
La evaluación, publicada por el Gobierno en octubre de 2025, acredita estas cifras para una consulta concreta. Midió el tiempo de comprobación, no el del análisis completo. Los revisores veían los temas que la herramienta ya había seleccionado. A nuestro juicio, ver los temas de antemano pudo llevarlos a aceptar más propuestas, una forma de anclaje que el informe no examina.
Implicaciones
Si los revisores ven primero la propuesta de la herramienta, una concordancia alta puede ser difícil de interpretar. ¿Habrían elegido el mismo tema si hubieran leído la respuesta por su cuenta?
Prácticas recomendadas
- 01Diseña la comprobación antes de usar la IA: quién revisa qué y cómo sabrás que la revisión se ha hecho de verdad.
- 02Mide con qué frecuencia coinciden dos revisores entre sí y compárala con la frecuencia con que coinciden un revisor y la IA.
- 03Mantén las decisiones importantes en manos de personas y registra cómo las has comprobado.
Fuentes
Estas fuentes respaldan los hechos que se exponen en esta página. En cada caso explicamos qué demuestra la fuente y hasta dónde llega. Las recomendaciones son nuestras. Consultar todas las fuentes.
- Consult Evaluation: DWP’s Pathways to Work consultation UK Incubator for AI (i.AI) · Fechado el 27 de agosto de 2025; publicado el 30 de octubre de 2025 · Evaluación gubernamental Los equipos de políticas públicas modificaron y aprobaron las categorías temáticas propuestas por la IA. Un total de 125 revisores comprobaron cómo había clasificado la herramienta 87 738 respuestas y mantuvieron la clasificación en el 73 % de ellas. La puntuación F1 de concordancia fue de 0,816 entre la herramienta y un revisor y de 0,710 entre dos revisores. La mediana del tiempo de comprobación fue de 19 segundos. Límites: Una sola consulta. Midió el tiempo de comprobación, no el análisis completo.
Cómo citar esta página
Founderz (2026). Consulta pública británica: 125 personas revisaron cómo clasificó la IA las respuestas. Estándar RUAI, edición de 2026. Desarrollado por Founderz en colaboración con Microsoft. https://responsibleai.founderz.com/es/toolkit/case-studies/uk-consult-human-review
Licencia CC BY 4.0: puedes compartir y adaptar el texto si reconoces la autoría.