Hoppa till innehållet
Founderz: startsida för ansvarsfull användning av AI

i samarbete med Microsoft

Fallstudie · Myndighetsutvärdering

Storbritanniens regering: mänsklig granskning av AI-sorterade samrådssvar

Ett AI-verktyg sorterade svar på ett offentligt samråd i teman. Människor kontrollerade varje beslut och resultaten publicerades.

Berörda principer

När och var

2025

Storbritannien

Vad som hände

När Storbritanniens Department for Work and Pensions samrådde med allmänheten om förslagen i Pathways to Work kom tiotusentals svar. Regeringens Incubator for AI använde verktyget Consult för att föreslå teman och sortera varje svar i dem.

Sakansvariga team redigerade AI:s temalista och godkände den. Därefter kontrollerade och rättade 125 granskare verktygets klassificering av 87 738 svar. För 17 000 av dem granskade två personer samma svar så att utvärderarna kunde jämföra AI med mänskligt omdöme och människor med varandra.

Granskarna lämnade 73 % av verktygets klassificeringar oförändrade. Enligt utvärderingens samstämmighetsmått stämde verktyget närmare överens med en granskare (0,816) än två granskare med varandra (0,710). Medianen för kontrollen var 19 sekunder per svar.

Vad källorna belägger

Utvärderingen som regeringen publicerade i oktober 2025 belägger dessa siffror för ett samråd. Den mätte tiden för kontrollen, inte hela analysen. Granskarna såg verktygets teman redan markerade. Enligt vår tolkning kan det ha gjort dem mer benägna att hålla med, en förankringseffekt som rapporten inte prövar.

Betydelse för arbetet

Om granskarna ser verktygets förslag först kan hög samstämmighet vara svår att tolka. Skulle de ha valt samma tema om de hade läst svaret på egen hand?

Rekommenderat arbetssätt

  1. 01Bestäm i förväg vem som ska granska vad och hur ni ser att granskningen faktiskt görs.
  2. 02Mät hur ofta granskare håller med varandra så att ni har en jämförelse för samstämmigheten med AI.
  3. 03Låt människor fatta de viktiga besluten och dokumentera hur ni kontrollerade arbetet.

Källor

Här ser du vilka sakuppgifter varje källa stöder och vilka slutsatser du kan dra av den. Rekommendationerna är våra. Se alla källor vi använder.

  1. Consult Evaluation: DWP’s Pathways to Work consultation UK Incubator for AI (i.AI) · Daterad 27 augusti 2025; publicerad 30 oktober 2025 · Myndighetsutvärdering Sakansvariga team redigerade och godkände AI:s teman. När 125 granskare kontrollerade verktygets klassificering av 87 738 svar lämnade de 73 % oförändrade. F1-måttet för samstämmighet var 0,816 mellan verktyget och en granskare och 0,710 mellan två granskare. Medianen för kontrollen var 19 sekunder. Begränsningar: Ett samråd. Tidsmätningen gällde endast kontrollen.

Hänvisa till den här sidan

Founderz (2026). Storbritanniens regering: mänsklig granskning av AI-sorterade samrådssvar. RUAI-standarden, 2026 års utgåva. Utvecklad av Founderz i samarbete med Microsoft. https://responsibleai.founderz.com/sv/toolkit/case-studies/uk-consult-human-review

Licensierad under CC BY 4.0: du får dela och bearbeta texten om du anger upphovspersonen.