Ves al contingut
Founderz: inici de l’ús responsable de la IA

en col·laboració amb Microsoft

Principi 04 · Abans de començar · Agents i seguretat

Permisos limitats per als agents d’IA

Els agents d’IA reben només l’accés que exigeix la tasca, i qualsevol acció irreversible necessita la confirmació d’una persona.

Pregunta clau

Què és el pitjor que podria fer aquest agent amb l’accés que té?

Benefici

Pots deixar que un agent ordeni correus sense donar-li la capacitat d’enviar-ne un per error.

Context

Un agent que ordena el correu necessita llegir missatges. Si també pot enviar respostes, en podria enviar una per error. Algú fins i tot podria amagar instruccions en un correu per fer-li enviar un fitxer. Comprova què pot fer amb l’accés que li concedeixes.

Dona a l’agent només l’accés que necessita per a aquesta tasca. Els equips de seguretat en diuen permisos mínims. És la regla que aplicaries a un nou company el primer dia.

Permisos i prompts

Demana a l’agent que redacti les respostes i configura’n els permisos perquè només pugui crear esborranys. Aquesta configuració impedeix que enviï un missatge encara que interpreti malament les teves instruccions. El marc de Singapur per a la IA amb agents recomana utilitzar controls del sistema per imposar les aprovacions sempre que sigui possible.

OWASP anomena aquest risc autonomia excessiva: un sistema d’IA amb més funcions, permisos o autonomia dels que necessita per a la tasca. L’edició de 2026 recomana que una persona confirmi les accions privilegiades, irreversibles o visibles externament.

Injecció de prompts

Els correus, les pàgines web i els documents compartits poden contenir text escrit per dirigir la IA que els llegeix. Això és la injecció de prompts. El National Cyber Security Centre del Regne Unit adverteix que potser mai es podrà resoldre del tot. La defensa consisteix, doncs, a limitar el que pot fer un sistema enganyat.

L’investigador de seguretat Simon Willison descriu una «tríada letal»: un agent pot llegir les teves dades privades, llegir contingut de desconeguts i enviar coses a fora. Un desconegut podria amagar una petició en aquest contingut per fer que l’agent li enviés les teves dades. Dona a un mateix agent els tres tipus d’accés només si l’equip de TI ho ha dissenyat així.

No cal que detectis tots els atacs. Fixa’t quan un agent de sobte vulgui fer una cosa que no li has demanat, atura’l i comunica-ho.

Pràctiques

  1. 01Comença amb accés només de lectura o només per crear esborranys i afegeix permisos d’un en un.
  2. 02Confirma qualsevol acció irreversible: enviar, pagar, eliminar o compartir fora de l’organització.
  3. 03Evita donar a un mateix agent dades privades, contingut de desconeguts i una manera d’enviar coses a fora, tot alhora.
  4. 04Atura un agent que vulgui fer una cosa que no li has demanat i comunica-ho.
  5. 05Fixa límits d’import, destinataris i temps, i assegura’t que saps com desactivar l’agent.

Exemples de prompts

Compara els dos prompts i comprova quin pas has de fer tu.

Correu i agents

Classificació de la bústia d’entrada

Abans

Revisa la meva bústia i ocupa’t de tot el que sigui urgent.

Després

Revisa la bústia d’avui. Redacta respostes als missatges urgents i desa-les a Esborranys. Enumera per separat els correus que demanin un pagament, un canvi de dades bancàries, una contrasenya o un fitxer.

La teva part

Configura l’agent amb accés només per crear esborranys, si l’eina ho permet, perquè el límit no depengui del prompt. Abans d’actuar davant de qualsevol petició de pagament, torna la trucada a un número que ja tinguis.

Per què funciona: L’accés només per crear esborranys et deixa el control dels enviaments. Pots revisar per separat les peticions assenyalades i comprovar per telèfon les inusuals.

Recerca

Recerca de proveïdors al web

Abans

Investiga aquests cinc proveïdors en línia i després escriu a cadascun per demanar un pressupost.

Després

Investiga aquests cinc proveïdors al web i resumeix què ofereix cadascun, amb enllaços. Redacta una petició de pressupost per a cadascun, però no les enviïs.

La teva part

No donis a l’agent permís per enviar correus en aquesta tasca i llegeix els esborranys abans d’enviar-los. Les pàgines web poden contenir instruccions ocultes.

Per què funciona: Sense permís per enviar correus, a un agent que llegeix el web obert li falta una part de la tríada letal.

Operacions i projectes

Automatització d’una comanda rutinària

Abans

Cada dilluns, comprova les existències i torna a demanar tot el que s’estigui acabant.

Després

Cada dilluns, comprova les existències i prepara una llista de reposició dels articles per sota del mínim. Les comandes de més de 500 € o de proveïdors nous han de passar per mi per aprovar-les.

La teva part

Configura el límit de despesa al mateix sistema de compres, a més del prompt, i revisa les comandes de les primeres setmanes.

Per què funciona: Les comandes rutinàries de poc import es poden executar dins d’uns límits. El límit només et protegeix si el sistema l’imposa.

Evidència

  • El Top 10 d’OWASP per a aplicacions amb LLM de 2026 inclou la injecció de prompts i l’autonomia excessiva entre els riscos principals, i recomana permisos mínims i confirmació humana de les accions privilegiades, irreversibles o visibles externament. [OWASP]
  • El National Cyber Security Centre del Regne Unit recomana límits fixos, independents de la IA, sobre el que poden fer els sistemes d’IA, perquè la injecció de prompts potser mai es podrà resoldre del tot. [NCSC del Regne Unit]
  • Les dades privades, el contingut no fiable i la comunicació externa en un mateix agent fan possible el robatori de dades mitjançant injecció de prompts. [Willison]
  • Segons la definició de permisos mínims del NIST, cada usuari o sistema rep només els recursos i l’accés que necessita per fer la seva feina. [NIST]
  • El marc de Singapur per a la IA amb agents prefereix les aprovacions imposades per controls del sistema a les que es demanen en prompts. [IMDA]

Casos pràctics i situacions

Pràctica d’equip

Doneu a cada agent compartit una fitxa de permisos: la finalitat, a què pot accedir i què pot fer, què necessita aprovació, els límits i qui el pot aturar.

Eina per a equipsFitxa de permisos de l’agent

Fonts

Aquestes fonts sustenten els fets d’aquesta pàgina. Expliquem què acredita cadascuna i fins on arriba l’evidència. Les recomanacions són nostres. Consulta totes les fonts que fem servir.

  1. OWASP Top 10 for LLM Applications, 2026 edition OWASP Gen AI Security Project · 3 d’agost de 2026 · Orientacions de seguretat Enumera els principals riscos de seguretat de les aplicacions d’IA, incloses la injecció de prompts (LLM01), que afirma que encara no es pot prevenir de manera fiable, i l’autonomia excessiva (LLM03): més funcions, permisos o autonomia dels que necessita una tasca. Recomana permisos mínims i confirmació humana de les accions privilegiades, irreversibles o visibles externament. Límits: Són orientacions de la comunitat, no una norma formal.
  2. Prompt injection is not SQL injection (it may be worse) UK National Cyber Security Centre · 8 de desembre de 2025 · Orientacions oficials Explica que els models d’IA no tenen una frontera fiable entre dades i instruccions, de manera que la injecció de prompts potser mai es podrà resoldre del tot. Recomana límits fixos i independents de la IA sobre el que poden fer els sistemes, permisos mínims i registre d’activitat. Límits: S’adreça a professionals de la seguretat.
  3. The lethal trifecta for AI agents Simon Willison · 16 de juny de 2025 · Anàlisi d’un professional Identifica la combinació d’accés a dades privades, exposició a contingut no fiable i capacitat de comunicació externa com la condició que permet el robatori de dades mitjançant agents d’IA, i assenyala que cap tècnica coneguda l’evita de manera fiable. Límits: És un marc proposat per un professional i no revisat per experts.
  4. Least privilege (glossary entry) NIST Computer Security Resource Center · Definició del NIST SP 800-53 Rev. 5 · Definició normativa Defineix els permisos mínims com el principi de concedir a cada entitat només els recursos del sistema i les autoritzacions que necessita per fer la seva feina. Límits: És un glossari que recull definicions de publicacions del NIST.
  5. Model AI Governance Framework for Agentic AI Infocomm Media Development Authority, Singapore · Versió 1.5, 20 de maig de 2026 (primera publicació el 22 de gener de 2026) · Marc voluntari Atribueix a les organitzacions i a les persones que supervisen els agents la responsabilitat del que fan. Demana aprovació humana en punts de revisió significatius, com ara eliminar dades, enviar missatges i fer pagaments. Sempre que sigui possible, el sistema hauria d’impedir l’acció fins que algú l’aprovi. Les revisions molt ràpides o les correccions molt escasses poden indicar que els revisors aproven per costum. Límits: Són orientacions voluntàries, no una llei. Els casos pràctics els van proporcionar les mateixes empreses.

Cita aquesta pàgina

Founderz (2026). Principi 4: Permisos limitats per als agents d’IA. L’Estàndard RUAI, edició de 2026. Desenvolupat per Founderz en col·laboració amb Microsoft. https://responsibleai.founderz.com/ca/toolkit/principles/agent-permissions

Sota la llicència CC BY 4.0: comparteix i adapta amb atribució.