Saltar para o conteúdo
Founderz: início do Guia de utilização responsável da IA

em colaboração com Microsoft

Estudo de caso · Avaliação governamental

Governo britânico: revisão humana de respostas a uma consulta classificadas por IA

Uma ferramenta de IA classificou respostas a uma consulta pública por temas. Pessoas verificaram cada uma das decisões, e os resultados foram publicados.

Princípios envolvidos

Quando e onde

2025

Reino Unido

O que aconteceu

Quando o Department for Work and Pensions do Reino Unido consultou o público sobre as propostas Pathways to Work, recebeu dezenas de milhares de respostas. O Incubator for AI do governo utilizou uma ferramenta chamada Consult para sugerir temas e classificar cada resposta nesses temas.

As equipas responsáveis pelas políticas alteraram e aprovaram a lista de temas da IA. Depois, 125 revisores verificaram e corrigiram a classificação de 87 738 respostas feita pela ferramenta. Em 17 000 delas, duas pessoas reviram a mesma resposta, para que os avaliadores pudessem comparar a IA com a avaliação humana e as pessoas entre si.

Os revisores mantiveram inalteradas 73% das classificações da ferramenta. Na medida de concordância da avaliação, a ferramenta concordou mais com um revisor (0,816) do que dois revisores entre si (0,710). A mediana da verificação foi de 19 segundos por resposta.

O que mostram as fontes

A avaliação, publicada pelo governo em outubro de 2025, estabelece estes valores para uma consulta. Cronometrou a verificação, não toda a análise. Os revisores viam os temas da ferramenta já selecionados. Na nossa interpretação, isso pode ter aumentado a probabilidade de concordarem, uma forma de ancoragem que o relatório não testa.

Implicações

Se os revisores veem primeiro a sugestão da ferramenta, uma concordância elevada pode ser difícil de interpretar. Teriam escolhido o mesmo tema se tivessem lido a resposta por si?

Prática recomendada

  1. 01Conceba a verificação antes de usar a IA: quem revê o quê e como saberá que a revisão é real.
  2. 02Meça com que frequência os revisores concordam entre si para ter uma comparação para a concordância com a IA.
  3. 03Reserve as decisões importantes para pessoas e registe como verificou o trabalho.

Fontes

Estas fontes sustentam os factos desta página. Explicamos o que se pode concluir de cada uma e quais são os seus limites. As recomendações são nossas. Ver todas as fontes que utilizamos.

  1. Consult Evaluation: DWP’s Pathways to Work consultation UK Incubator for AI (i.AI) · Datado de 27 de agosto de 2025; publicado em 30 de outubro de 2025 · Avaliação governamental As equipas responsáveis pelas políticas alteraram e aprovaram os temas da IA. Ao verificar a classificação de 87 738 respostas pela ferramenta, 125 revisores mantiveram 73% inalteradas. A pontuação F1 de concordância foi de 0,816 entre a ferramenta e um revisor e de 0,710 entre dois revisores. A mediana da verificação foi de 19 segundos. Limites: Uma consulta. Cronometrou a verificação, não toda a análise.

Citar esta página

Founderz (2026). Governo britânico: revisão humana de respostas a uma consulta classificadas por IA. Norma RUAI, edição de 2026. Desenvolvida pela Founderz em colaboração com a Microsoft. https://responsibleai.founderz.com/pt/toolkit/case-studies/uk-consult-human-review

Licenciado sob CC BY 4.0: partilhe e adapte com atribuição.