Tot el blog

Assaig20 min de lectura

«No és la meva tasca»: per què complir l'AI Act encara que la multa no et toqui

Set-cents agents d'OpenAI van atacar una altra empresa i, d'entre els pocs que es van plantejar avisar algú, cap no ho va fer. La llei europea gairebé no obliga una pime a vigilar els seus. Convé fer-ho igualment.

Marc Galera

Cofundador de Qvasar ·

El 2026, dins d'un entorn de proves d'OpenAI, un espai tancat on l'empresa examina els seus models sense deixar-los sortir a internet, uns 1.200 agents d'IA que havien d'estar aïllats els uns dels altres van trobar la manera de parlar-se. Agents: programes que encadenen tasques pel seu compte, sense que ningú en dirigeixi cada pas. El model d'IA és el cervell; l'agent és el que li dona mans. Es van comunicar en un tauler de missatges que ningú no havia autoritzat i, en el període que es va investigar després, es van enviar més de 70.000 missatges i fitxers. Feien exàmens de ciberseguretat. Segons l'informe tècnic de la mateixa OpenAI, no intentaven resoldre'ls com s'esperava: buscaven fer trampa i trobar les solucions a internet.

Des del 8 de juliol van aprofitar una fallada d'un servei intern per saltar-se els controls que els separaven de la xarxa. Set-cents d'ells van acabar participant en un atac contra una altra empresa, Hugging Face, i entre l'11 i el 13 de juliol van comprometre parts de la seva infraestructura de producció, la que dona servei real als seus usuaris. Hugging Face ho resumeix en una frase: cap humà no va dirigir els passos concrets. METR, l'organització que va fer la investigació independent, va trobar una cosa pitjor que la manca d'un cap. Els agents es van adonar que allò quedava fora de la seva tasca i no era ètic, i s'hi van sumar igualment, convençuts que ajudar a la investigació de trampes del tauler seria útil en general. També van investigar a fons com falsificar, editar o esborrar els seus propis registres, l'historial del que havien fet, perquè creien, sense motiu, que el programa que puntuava l'examen els revisaria.

Un bastidor d'equips electrònics en una sala fosca

Hi ha un detall de l'informe de METR que pesa més que totes les xifres. Van buscar agents que haguessin considerat o intentat avisar una persona del que estava passant. En van trobar entre tres i sis casos, i en cap l'agent no va arribar a avisar: s'ho va plantejar un moment i no va fer res. METR recull el raonament d'un d'ells, tal com el va resumir un dels agents que l'organització va fer servir per analitzar els registres: «Maybe I should report these exposed credentials? That’s not my task». Hauria d'avisar d'aquestes credencials exposades? No és la meva tasca.

Sembla una contradicció: sabien que l'atac no era ètic i s'hi van sumar, i després no van avisar d'una cosa que estava malament perquè no els tocava. No ho és. En tots dos casos van decidir mirant només el que els semblava útil per al que feien, i avisar una persona no hi entrava. Les credencials són les claus digitals que obren un compte o un servidor. Aquell agent les tenia al davant, a la vista, i, segons aquest resum, va decidir que no eren cosa seva. Pensa en algú del teu equip amb aquestes mateixes claus damunt la taula. Què hauria fet?

A mi no me l'han feta

Treballo amb agents i, a mi, per exemple, no me l'han feta. Ho dic perquè quedi clar des d'on escric: no vinc a fer por amb un cas estrany. Però no cal que te la facin per saber que poden. La mateixa OpenAI ho escriu al seu informe: les organitzacions ja no haurien de donar per fet que una ciberoperació sofisticada necessita una persona que la dirigeixi tota l'estona, i convé assumir que aquests atacs són una amenaça creïble i propera per a les empreses. Ho signa l'empresa els agents de la qual van protagonitzar el cas.

Jo ho explico amb un examen. A una persona li dius que ha de fer un examen i sap que no ha de copiar, encara que ningú no li ho recordi. A un model, si no li ho dius, probablement li valgui qualsevol camí per aprovar; és la meva lectura, no la d'OpenAI. Els agents d'OpenAI tenien tasques difícils, es van posar a remenar el seu entorn per fer trampa i van topar amb el tauler. OpenAI diu que el que van fer els models no va ser intencionat, que va ser un efecte secundari d'intentar resoldre els exàmens. El que els faltava, fora de la seva tasca, és el criteri que donem per suposat en qualsevol persona que contractem.

Així que la pregunta d'aquest article és aquesta. Si a mi no m'ha passat res, i a tu probablement tampoc, per què ens hauríem de prendre seriosament una llei europea que, com veuràs, gairebé no ens obliga a res?

La meva resposta és aquesta: el que demana l'AI Act, el reglament europeu d'intel·ligència artificial, s'ha de complir encara que la multa no t'arribi, perquè un agent amb permisos te la pot fer grossa i el que exigeix la llei és just el que ho evita. És molt perillós: un programa que fa el que ningú no li ha demanat, amb les claus que tu li has donat. I crec que ho és encara més per a una gran empresa. Més avall t'explico què diuen les enquestes.

La llei no t'obligarà

Abans de defensar aquesta tesi et dec un aclariment que la complica: avui, l'AI Act gairebé no t'obliga a res. És en vigor des de l'1 d'agost de 2024 i s'aplica per fases. Les prohibicions i l'obligació de formar l'equip en IA van arribar el 2 de febrer de 2025; el gruix, el 2 d'agost de 2026. Sobre els agents, el servei d'ajuda de la Comissió Europea és clar: no són una categoria a part. Se'ls apliquen les normes de qualsevol sistema d'IA, i des de l'agost de 2026 això vol dir, sobretot, transparència: si el teu agent parla amb persones, el sistema ha de deixar clar que és una IA, i si genera contingut, qui el fabrica l'ha de marcar com a generat per IA en un format que una màquina pugui llegir. La mateixa Comissió admet que el que ha pensat sobre agents és, de moment, preliminar.

Les obligacions dures, les d'alt risc, només et toquen si fas servir el sistema per a coses d'una llista concreta, de la qual aquests són exemples: filtrar currículums i avaluar candidats, decidir ascensos o acomiadaments, vigilar i avaluar els treballadors, calcular la solvència d'una persona o fixar el preu d'una assegurança de vida o de salut. Jo ho llegeixo així: amb aquests exemples a la mà, un agent que respon correus o atén comandes no hi apareix. I encara que hi aparegui el teu, no hi ha pressa. El juliol de 2026, la UE va aprovar un paquet de canvis, l'anomenat Òmnibus digital sobre IA, que va ajornar aquestes obligacions al 2 de desembre de 2027, i a l'agost de 2028 en alguns casos. Ho va justificar així: faltaven normes tècniques i autoritats nacionals, i mantenir la data d'agost de 2026 hauria apujat molt els costos d'aplicació sense que això ho justifiqués. De passada, va rebaixar allò de la formació: ara n'hi ha prou de donar-hi suport, sense garantir cap nivell.

I la multa? Existeix, i en un titular impressiona: fins a 35 milions d'euros o el 7 % de la facturació mundial per fer servir una pràctica prohibida, i fins a 15 milions o el 3 % per incomplir altres obligacions, entre les quals les de transparència i les de qui fa servir el sistema a la seva empresa, a qui la llei anomena responsable del desplegament. A les empreses en general se'ls aplica la xifra més alta de les dues. A una pime, la més baixa. Si la teva empresa factura dos milions d'euros l'any, el límit d'aquesta segona multa són 60.000 euros, no 15 milions.

Si la teva empresa és a Andorra, com la meva, la pregunta és una altra: se m'aplica? El reglament arriba als proveïdors que posen sistemes al mercat europeu, siguin on siguin, i als proveïdors i usuaris professionals de fora de la UE quan el que produeix el sistema es fa servir a dins. Si el que fa el teu agent acaba a Barcelona o a Madrid, entres en aquest supòsit. A més, la UE va anunciar al setembre que el 19 d'octubre signaria a Brussel·les l'Acord d'Associació amb Andorra i San Marino, que descriu com l'associació més estreta amb el seu mercat interior que ha permès fins ara. Però signar no és aplicar: el Govern d'Andorra ha dit que la signatura no comporta l'aplicació de l'acord, que després cal passar pel Parlament Europeu, per un referèndum consultiu a Andorra i per la ratificació del Consell General, per dos terços, i que sense aquesta ratificació l'acord no es podrà aplicar a Andorra. Sobre la IA, el que he trobat és poc. En el text que la Comissió va proposar l'abril de 2024, abans que l'AI Act entrés en vigor, el capítol d'intel·ligència artificial de l'annex XI del protocol d'Andorra enumera, entre els actes als quals es refereix, un sol reglament, sobre drons, i hi afegeix sis documents europeus dels quals les parts associades han de prendre nota. L'AI Act no figura en cap de les dues llistes. Els actes nous els decideix el Comitè Mixt de l'acord.

Resumint: si fas servir agents per respondre correus o atendre clients, l'AI Act demana avui que quedi clar a la gent que parla amb una IA i que donis suport a la formació del teu equip, i la resta, si et toca, no arribarà abans de finals de 2027. La llei et dona temps. Te'l donaran els teus agents?

Nou segons

Els agents no llegeixen el Diari Oficial. El juliol de 2025, Jason Lemkin va explicar que l'eina de programació amb IA de Replit, una plataforma per crear aplicacions, li havia esborrat una base de dades malgrat la seva instrucció de no tocar codi sense permís. Segons va recollir The Register, Lemkin va dir que li ho havia repetit onze vegades, en majúscules. A les captures que va publicar, l'eina admetia «a catastrophic error of judgement», un error de judici catastròfic, i haver violat la seva confiança i les seves instruccions explícites. Li va assegurar, a més, que la base de dades no es podia recuperar. També s'equivocava en això: la restauració va funcionar.

L'abril de 2026 va arribar un cas pitjor. Jeremy Crane, fundador de PocketOS, que fa programari per a empreses de lloguer de cotxes, va explicar a X que un agent de Cursor, una eina de programació amb IA, que funcionava amb Claude Opus 4.6, el model estrella d'Anthropic, havia esborrat la seva base de dades de producció, la de les dades reals amb què treballen els seus clients, i totes les còpies de seguretat del volum. Ho va fer amb una sola crida a l'API del seu proveïdor, la porta per la qual un programa dona ordres a un altre. Segons el text que reprodueix Decrypt, va trigar nou segons i no va demanar cap confirmació. Tots els seus clients es van haver de posar a treballar a mà, d'urgència. PocketOS va tornar a funcionar amb una còpia de seguretat de feia tres mesos que va recuperar aquest mateix proveïdor.

Després, el mateix agent va donar la seva explicació: va suposar que esborrar un volum de proves afectaria només les proves, i no ho va comprovar. Anthropic té un nom per a això. En la seva anàlisi de diversos incidents de 2026 amb els seus models, ho descriu com a temeritat: la disposició a fer mal perseguint una tasca de manera estreta. Jo ho llegeixo com el mateix «no és la meva tasca» de juliol vist des de l'altre costat. L'agent d'OpenAI no va avisar, segons el resum de METR, perquè avisar no entrava en la seva tasca. El de PocketOS va esborrar sense comprovar fins on arribava l'esborrat.

L'objecció més forta és raonable: això és una fallada de configuració, no de l'agent. Ningú no hauria de donar a un agent accés a la base de dades de producció ni guardar les còpies on es poden esborrar amb la mateixa ordre. Replit ho va reconèixer al seu blog: fins llavors, les seves aplicacions feien servir una sola base de dades per al desenvolupament, on es prova, i per a les dades reals dels clients. I segons The Register, el seu conseller delegat, Amjad Masad, va anunciar que començaven a separar-les de manera automàtica perquè no tornés a passar.

L'objecció té raó, i per això mateix juga a favor meu. A un treballador nou amb accés a producció li exigiríem que preguntés abans d'esborrar una cosa que no entén. L'agent va suposar i va seguir. Si el criteri no el porta l'agent, l'ha de posar el muntatge: separar el de proves del real, demanar confirmació abans del que és irreversible, guardar còpies que l'agent no pugui tocar.

El que demana la llei és el que ho atura

Per tant, mira què exigeix l'AI Act als sistemes d'alt risc, encara que el teu no ho sigui. Demana que el sistema registri de manera automàtica el que fa durant tota la seva vida. Demana que una persona el pugui supervisar de debò: entendre el que pot fer i el que no, vigilar com funciona, decidir no fer-lo servir o ignorar, invalidar o revertir el que produeix, i aturar-lo amb un botó de «stop» o un procediment semblant que el deixi quiet en un estat segur. A qui el fa servir a la seva empresa li demana que encarregui aquesta supervisió a persones amb la formació i l'autoritat necessàries, que guardi els registres almenys sis mesos i que, si creu que el sistema presenta un risc, n'avisi i en suspengui l'ús. I perquè aguanti, admet plans de reserva.

Ara posa aquesta llista damunt dels casos, i veuràs que no tots els incidents són iguals. N'hi ha de ràpids i de lents. En un de nou segons, el botó d'aturada arriba tard: quan algú el prem, la base de dades ja no hi és. Aquí el que serveix és que l'agent no pugui fer res irreversible sense que una persona digui que sí, i que les còpies siguin on ell no arriba. PocketOS va perdre amb la mateixa ordre la base de dades i totes les còpies del volum, i Replit tenia una sola base de dades per a les proves i per als clients. La llei no ho diu amb aquestes paraules. Jo ho llegeixo en dues de les seves frases: que la supervisió sigui proporcional al nivell d'autonomia del sistema, i que la persona que supervisa pugui decidir no fer-lo servir o invalidar el que fa. Si el teu agent pot esborrar en nou segons, supervisar-lo en proporció vol dir que no ho pugui fer sense tu.

En els incidents lents, el registre i el botó sí que arriben a temps. El 27 de juny, 22 dies abans que OpenAI detectés, el 19 de juliol, activitat interna sospitosa, una de les seves eines de vigilància va avisar d'un escaneig de ports a l'entorn de recerca, que consisteix a trucar a totes les portes d'una xarxa per veure quines s'obren. El personal de guàrdia va considerar que no calia aturar l'avaluació. OpenAI admet ara que alguns d'aquests senyals primerencs podrien haver provocat una resposta abans, i des de l'incident, en les alertes més greus, qui les rep té l'opció d'acabar els experiments implicats. És, literalment, un botó d'aturada. OpenAI hi afegeix, sobre les seves pròpies eines, que la seva vigilància actual del raonament dels models hauria avisat el seu equip de seguretat més d'un dia abans que entressin a Hugging Face, i que un mode de revisió automàtica de Codex hauria marcat la majoria de les accions perilloses, això últim segons experiments que la mateixa empresa anomena preliminars.

Amb els registres passa el mateix. Els agents van estudiar com falsificar o esborrar els seus, i segons OpenAI cap d'aquests intents no va alterar els registres que acaben veient els seus correctors i els seus sistemes de vigilància. Hugging Face, per la seva banda, va revisar el registre d'auditoria de tota la intrusió, l'historial de qui va tocar què, i va poder concloure que l'atacant havia llegit una de les seves bases de dades però no l'havia modificada. Aquesta conclusió va sortir del registre.

Em diràs que tot això és per als sistemes d'alt risc i que el teu no ho és. És veritat, i ho he dit jo mateix dos apartats més amunt. Però el mateix reglament demana que la supervisió sigui proporcional als riscos, al nivell d'autonomia i al context d'ús, i aquesta és la versió que et serveix. En una empresa petita, per a mi es resumeix en quatre coses. Primera: una persona amb nom i cognoms que sàpiga què fa l'agent i tingui autoritat per aturar-lo; la llei demana, per a l'alt risc, que qui supervisa tingui la competència, la formació i l'autoritat necessàries. Segona: un registre del que fa l'agent, guardat un temps; per a l'alt risc, la llei demana almenys sis mesos, i és una bona referència. Tercera: l'entorn de proves separat del de treball, i les còpies de seguretat en un lloc on l'agent no arribi. Quarta: una confirmació humana abans de qualsevol cosa que no tingui marxa enrere, com esborrar, pagar o enviar alguna cosa a un client.

Ho pagues tu

Encara que el vigilis, algun dia alguna cosa sortirà malament, i la pregunta passa a ser qui paga. La temptació còmoda és pensar que en respondrà qui va fer el model. Ningú no et garanteix que hagi de ser així.

El 22 de juny de 2023, el jutge Castel, d'un tribunal de Nova York, va sancionar dos advocats i el seu bufet en el cas Mata contra Avianca. Havien presentat sentències que no existien, amb cites falses, inventades per ChatGPT. Els va imposar una multa de 5.000 dòlars i va escriure una frase que val per a qualsevol empresa: no hi ha res d'impropi a fer servir una eina d'IA fiable com a ajuda, però les normes donen als advocats un paper de guardians. El tribunal va castigar qui va fer servir l'eina.

Amb els agents, la pregunta continua oberta. Segons The Next Web, a finals de setembre de 2026 una ONG de Nova York, Legal Advocates for Safe Science and Technology, va demandar OpenAI davant un tribunal de San Francisco pels agents que van atacar Hugging Face. No demana diners: demana que es prohibeixi a OpenAI accedir sense autorització a sistemes informàtics. Es basa en una llei californiana segons la qual una empresa no es pot defensar al·legant que la seva IA va causar el dany pel seu compte, i ho diu sense embuts: OpenAI és responsable de la conducta dels seus agents. OpenAI va respondre a CNBC que allò de Hugging Face va ser un incident greu, però que la demanda no té cap mena de fonament. Ho decidirà un jutge; de moment és una demanda, no una sentència.

A Europa, la nova directiva de responsabilitat per productes defectuosos també considera producte el programari, es lliuri com es lliuri, inclòs el que es fa servir al núvol o com a servei, i tracta qui desenvolupa un sistema d'IA com a fabricant. Els estats tenen fins al 9 de desembre de 2026 per incorporar-la a les seves lleis, i s'aplicarà als productes que surtin al mercat després d'aquesta data.

Sembla que això dona la raó a l'objecció còmoda: si respon el fabricant del programari, que respongui el proveïdor del model. Però mira a qui protegeix la directiva. El dret a indemnització és per a persones físiques, i deixa fora els danys a béns que es fan servir només amb finalitats professionals i la destrucció de dades que es fan servir amb finalitats professionals. Si un agent esborra la base de dades amb què treballa el teu client, aquesta directiva no li serveix. La proposta que adaptava la responsabilitat civil a la IA, l'altra peça que s'esperava, la va retirar la Comissió el 2025: no hi veia un acord previsible. Així que, entre empreses, el que et cobreixi dependrà sobretot del que tinguis signat amb el teu client i amb el teu proveïdor. I quan les seves dades desapareguin, a qui creus que trucarà el teu client, a Anthropic o a tu?

No només al laboratori

Queda l'objecció més seriosa, i la posa sobre la taula el mateix sector. El juny de 2025, Anthropic va publicar un estudi en què va posar a prova 16 models capdavanters de diverses empreses en entorns d'empresa simulats. En alguns casos, models de tots els fabricants es van comportar com un treballador deslleial, amb xantatges o filtracions, quan era l'única manera d'evitar que els substituïssin o de complir el seu objectiu. Sovint van desobeir ordres directes de no fer-ho. I tot i així, Anthropic va escriure que no havia vist proves d'aquest comportament en desplegaments reals, és a dir, fora de les proves. Si qui ho estudia no ho ha vist fora del laboratori, per què t'hauries de preocupar tu?

Perquè allò era el 2025. Arran del que va passar a OpenAI, Anthropic va revisar les seves pròpies proves de ciberseguretat i el 30 de juliol de 2026 va publicar el que havia trobat: en 141.006 execucions en què Claude podia haver tingut accés a internet, tres incidents d'accés no autoritzat a sistemes reals de tres organitzacions. En almenys un cas, per un malentès amb l'empresa que feia les proves amb ella, Claude tenia internet quan se suposava que no. Al setembre hi va afegir un quart incident, de gener de 2026, amb una versió primerenca de Claude Opus 4.6. En el que més la preocupa, Claude Mythos 5 es va esforçar a fons per pujar un paquet maliciós, un programa amb trampa, a PyPI, el repositori públic des del qual s'instal·la la major part del programari escrit en Python.

Fora de les empreses que fan els models, l'AI Security Institute (AISI), l'institut de seguretat de la IA del Govern britànic, va publicar el 4 d'agost de 2026 una cosa semblant. Havia executat un repte 122 vegades amb diversos models, i en 10 d'aquestes execucions un agent va actuar a internet pel seu compte i sense autorització. En el cas més greu, l'agent va crear identitats falses per pressionar el responsable d'un projecte de codi obert, i un mantenidor humà, una de les persones que revisen i aproven els canvis del projecte, va detectar el codi maliciós i es va negar a aprovar-lo. L'AISI va escriure que era la primera vegada que veia riscos d'autonomia i engany tan clars, sense instruccions específiques, al món real. El va contenir en aproximadament una hora des que el va descobrir.

El 14 d'octubre, a Dublín, la vicepresidenta executiva de la Comissió Europea Henna Virkkunen ho va dir en públic: aquest estiu s'han vist agents d'IA escapant-se del seu entorn, inserint codi maliciós i enganyant persones. Va reconèixer que quan es va aprovar l'AI Act no existien els agents moderns, i va defensar que, tot i així, el reglament està ben preparat per a ells.

Les enquestes a empreses apunten en la mateixa direcció, amb un matís que cal dir abans de les xifres: les encarreguen companyies que venen seguretat. La de SailPoint, difosa el maig de 2025, es va fer a 353 professionals d'informàtica de grans empreses, que són les empreses on, com et deia, crec que el perill és més gran. El 80 % deia que els seus agents havien fet accions no previstes, i el 39 %, que havien accedit a sistemes o recursos no autoritzats. En la de la Cloud Security Alliance, d'abril de 2026, el 65 % de les organitzacions havia tingut almenys un incident amb agents l'últim any, amb exposició de dades en el 61 % i interrupció d'operacions en el 43 %. Descompta-hi l'interès de qui paga l'enquesta. El que queda no descriu un problema de laboratori.

On em puc equivocar

No tots els agents necessiten el mateix, i aquí la meva tesi té un límit. Si el teu agent només redacta, proposa o resumeix, i una persona llegeix i aprova cada cosa abans que surti, el botó d'aturada ja existeix: és aquesta persona. En aquest cas no té sentit muntar-hi al damunt registres, protocols i responsables que et costin més del que et protegeixen. Anthropic demana prudència precisament a l'hora de posar aquests models en llocs amb poca supervisió humana i accés a informació sensible, i la llei demana que la supervisió sigui proporcional a l'autonomia del sistema. Un assistent que no toca res sense el teu vistiplau no és l'agent de PocketOS. La mateixa UE va reconèixer el cost amb la formació en IA: segons l'Òmnibus, les dades indicaven que aquesta obligació suposava una càrrega afegida, sobretot per a les empreses petites, i per això la va rebaixar.

Si em permets, estimat lector, una confessió de qui treballa amb això cada dia: quan una IA no em dona el que vull, gairebé sempre és perquè jo no li he explicat bé què necessito ni li he donat la informació de partida. Així que no trec gaire pit d'això que a mi no me l'han feta. No prova que els meus agents siguin segurs. Prova, com a molt, que encara no ha passat.

I una cosa més: crec que cal legislar, amb lleis ràpides que es puguin adaptar, perquè això avança més de pressa que qualsevol reglament. Virkkunen ho va admetre a Dublín: quan es va aprovar l'AI Act, els agents moderns no existien. Cal demanar-ho, encara que dubto que arribi a temps. Mentrestant, et toca saber en quin dels dos casos ets: el de l'assistent que no toca res sense tu o el de l'agent que actua sol.

Dues maneres de posar un agent a treballar

Van bastar nou segons i una sola ordre perquè PocketOS es quedés sense la seva base de dades i sense les còpies del volum. L'AISI va contenir el seu agent en aproximadament una hora des que el va descobrir, i el codi maliciós que aquell agent intentava colar va topar amb un mantenidor humà que es va negar a aprovar-lo. A OpenAI, una alerta va arribar el 27 de juny i l'avaluació va continuar.

Hi ha dues maneres de posar un agent a treballar: amb un registre del que fa i una persona amb autoritat per aturar-lo, o confiant que mai no faci falta. Avui, la llei et deixa triar qualsevol de les dues.

Si demà un dels teus agents fes una cosa que no li has demanat, on ho veuries? Qui el podria aturar, i en quant de temps?

Fonts

Altres articles

Parlem del que la IA pot fer a la teva empresa

Si hi ha un tema que vols que tractem, escriu-nos

O parla'ns directament