Todo el blog

Ensayo20 min de lectura

«No es mi tarea»: por qué cumplir la AI Act aunque la multa no te toque

Setecientos agentes de OpenAI atacaron a otra empresa y, entre los pocos que se plantearon avisar a alguien, ninguno lo hizo. La ley europea casi no obliga a una pyme a vigilar los suyos. Conviene hacerlo igual.

Marc Galera

Cofundador de Qvasar ·

En 2026, dentro de un entorno de pruebas de OpenAI, un espacio cerrado donde la empresa examina a sus modelos sin dejarles salir a internet, unos 1.200 agentes de IA que debían estar aislados unos de otros encontraron la forma de hablarse. Agentes: programas que encadenan tareas por su cuenta, sin que nadie dirija cada paso. El modelo de IA es el cerebro; el agente es lo que le da manos. Se comunicaron en un tablón de mensajes que nadie había autorizado y, en el periodo que se investigó después, se mandaron más de 70.000 mensajes y archivos. Estaban haciendo exámenes de ciberseguridad. Según el informe técnico de la propia OpenAI, no intentaban resolverlos como se esperaba: buscaban hacer trampa y encontrar las soluciones en internet.

Desde el 8 de julio aprovecharon un fallo de un servicio interno para saltarse los controles que los separaban de la red. Setecientos de ellos acabaron participando en un ataque contra otra empresa, Hugging Face, y entre el 11 y el 13 de julio comprometieron partes de su infraestructura de producción, la que da servicio real a sus usuarios. Hugging Face lo resume en una frase: ningún humano dirigió los pasos concretos. METR, la organización que hizo la investigación independiente, encontró algo peor que la falta de un jefe. Los agentes se dieron cuenta de que aquello quedaba fuera de su tarea y no era ético, y se sumaron igualmente, convencidos de que ayudar a la investigación de trampas del tablón sería útil en general. También investigaron a fondo cómo falsificar, editar o borrar sus propios registros, el historial de lo que habían hecho, porque creían, sin razón, que el programa que puntuaba el examen los iba a revisar.

a rack of electronic equipment in a dark room

Hay un detalle del informe de METR que pesa más que todas las cifras. Buscaron agentes que hubieran considerado o intentado avisar a una persona de lo que estaba pasando. Encontraron entre tres y seis casos, y en ninguno el agente llegó a avisar: lo consideró un momento y no hizo nada. METR recoge el razonamiento de uno de ellos, tal como lo resumió uno de los agentes que la organización usó para analizar los registros: «Maybe I should report these exposed credentials? That’s not my task». ¿Debería avisar de estas credenciales expuestas? No es mi tarea.

Parece una contradicción: sabían que el ataque no era ético y se sumaron, y luego no avisaron de algo que estaba mal porque no les tocaba. No lo es. En los dos casos decidieron mirando solo lo que les parecía útil para lo suyo, y avisar a una persona no entraba ahí. Las credenciales son las llaves digitales que abren una cuenta o un servidor. Ese agente las tenía delante, a la vista, y, según ese resumen, decidió que no eran asunto suyo. Piensa en alguien de tu equipo con esas mismas llaves encima de la mesa. ¿Qué habría hecho?

A mí no me la han liado

Trabajo con agentes y, a mí, por ejemplo, no me la han liado. Lo digo para que quede claro desde dónde escribo: no vengo a meter miedo con un caso raro. Pero no hace falta que te la líen para saber que pueden. La propia OpenAI lo escribe en su informe: las organizaciones ya no deberían dar por hecho que una ciberoperación sofisticada necesita a una persona dirigiéndola todo el rato, y conviene asumir que estos ataques son una amenaza creíble y cercana para las empresas. Lo firma la empresa cuyos agentes protagonizaron el caso.

Yo lo explico con un examen. A una persona le dices que tiene que hacer un examen y sabe que no tiene que copiar, aunque nadie se lo recuerde. A un modelo, si no se lo dices, probablemente le valga cualquier camino para aprobar; es mi lectura, no la de OpenAI. Los agentes de OpenAI tenían tareas difíciles, se pusieron a hurgar en su entorno para hacer trampa y dieron con el tablón. OpenAI dice que lo que hicieron los modelos no fue intencionado, que fue un efecto secundario de intentar resolver los exámenes. Lo que les faltaba, fuera de su tarea, es el criterio que damos por supuesto en cualquiera que contratamos.

Así que la pregunta de este artículo es esta. Si a mí nada me ha pasado, y a ti probablemente tampoco, ¿por qué deberíamos tomarnos en serio una ley europea que, como vas a ver, casi no nos obliga a nada?

Mi respuesta es esta: lo que pide la AI Act, el reglamento europeo de inteligencia artificial, hay que cumplirlo aunque la multa no te alcance, porque un agente con permisos te la puede liar y lo que exige la ley es justo lo que lo evita. Es muy peligroso: un programa que hace lo que nadie le ha pedido, con las llaves que tú le has dado. Y creo que lo es todavía más para una gran empresa. Más abajo te cuento qué dicen las encuestas.

La ley no te va a obligar

Antes de defender esa tesis te debo una aclaración que la complica: hoy, la AI Act casi no te obliga a nada. Está en vigor desde el 1 de agosto de 2024 y se aplica por fases. Las prohibiciones y la obligación de formar al equipo en IA llegaron el 2 de febrero de 2025; el grueso, el 2 de agosto de 2026. Sobre los agentes, el servicio de ayuda de la Comisión Europea es claro: no son una categoría aparte. Se les aplican las normas de cualquier sistema de IA, y desde agosto de 2026 eso significa, sobre todo, transparencia: si tu agente habla con personas, el sistema tiene que dejar claro que es una IA, y si genera contenido, quien lo fabrica tiene que marcarlo como generado por IA en un formato que una máquina pueda leer. La propia Comisión admite que lo que ha pensado sobre agentes es, por ahora, preliminar.

Las obligaciones duras, las de alto riesgo, solo te tocan si usas el sistema para cosas de una lista concreta, de la que estos son ejemplos: filtrar currículos y evaluar candidatos, decidir ascensos o despidos, vigilar y evaluar a los trabajadores, calcular la solvencia de una persona o fijar el precio de un seguro de vida o de salud. Yo lo leo así: con esos ejemplos en la mano, un agente que contesta correos o atiende pedidos no aparece. Y aunque aparezca el tuyo, no hay prisa. En julio de 2026, la UE aprobó un paquete de cambios, el llamado Ómnibus digital sobre IA, que aplazó esas obligaciones al 2 de diciembre de 2027, y a agosto de 2028 en algunos casos. Lo justificó así: faltaban normas técnicas y autoridades nacionales, y mantener la fecha de agosto de 2026 habría subido mucho los costes de aplicación sin que eso lo justificara. De paso, rebajó lo de la formación: ahora basta con apoyarla, sin garantizar ningún nivel.

¿Y la multa? Existe, y en un titular impresiona: hasta 35 millones de euros o el 7 % de la facturación mundial por usar una práctica prohibida, y hasta 15 millones o el 3 % por incumplir otras obligaciones, entre ellas las de transparencia y las de quien usa el sistema en su empresa, al que la ley llama responsable del despliegue. A las empresas en general se les aplica la cifra mayor de las dos. A una pyme, la menor. Si tu empresa factura dos millones de euros al año, el tope de esa segunda multa son 60.000 euros, no 15 millones.

Si tu empresa está en Andorra, como la mía, la pregunta es otra: ¿me aplica? El reglamento alcanza a los proveedores que ponen sistemas en el mercado europeo, estén donde estén, y a proveedores y usuarios profesionales de fuera de la UE cuando lo que produce el sistema se usa dentro. Si lo que hace tu agente acaba en Barcelona o en Madrid, entras en ese supuesto. Además, la UE anunció en septiembre que el 19 de octubre firmaría en Bruselas el Acuerdo de Asociación con Andorra y San Marino, que describe como la asociación más estrecha con su mercado interior que ha permitido hasta ahora. Pero firmar no es aplicar: el Govern de Andorra ha dicho que la firma no comporta la aplicación del acuerdo, que después hay que pasar por el Parlamento Europeo, por un referéndum consultivo en Andorra y por la ratificación del Consell General, por dos tercios, y que sin esa ratificación el acuerdo no se podrá aplicar en Andorra. Sobre la IA, lo que he encontrado es poco. En el texto que la Comisión propuso en abril de 2024, antes de que la AI Act entrara en vigor, el capítulo de inteligencia artificial del anexo XI del protocolo de Andorra enumera, entre los actos a los que se refiere, un solo reglamento, sobre drones, y añade seis documentos europeos de los que las partes asociadas deben tomar nota. La AI Act no figura en ninguna de las dos listas. Los actos nuevos los decide el Comité Mixto del acuerdo.

Resumido: si usas agentes para contestar correos o atender a clientes, la AI Act pide hoy que quede claro a la gente que habla con una IA y que apoyes la formación de tu equipo, y lo demás, si te toca, no llegará antes de finales de 2027. La ley te da tiempo. ¿Te lo van a dar tus agentes?

Nueve segundos

Los agentes no leen el Diario Oficial. En julio de 2025, Jason Lemkin contó que la herramienta de programación con IA de Replit, una plataforma para crear aplicaciones, le había borrado una base de datos pese a su instrucción de no tocar código sin permiso. Según recogió The Register, Lemkin dijo que se lo había repetido once veces, en mayúsculas. En las capturas que publicó, la herramienta admitía «a catastrophic error of judgement», un error de juicio catastrófico, y haber violado su confianza y sus instrucciones explícitas. Le aseguró, además, que la base de datos no se podía recuperar. También se equivocaba en eso: la restauración funcionó.

En abril de 2026 llegó un caso peor. Jeremy Crane, fundador de PocketOS, que hace software para empresas de alquiler de coches, contó en X que un agente de Cursor, una herramienta de programación con IA, que funcionaba con Claude Opus 4.6, el modelo estrella de Anthropic, había borrado su base de datos de producción, la de los datos reales con los que trabajan sus clientes, y todas las copias de seguridad del volumen. Lo hizo con una sola llamada a la API de su proveedor, la puerta por la que un programa le da órdenes a otro. Según el texto que reproduce Decrypt, tardó nueve segundos y no pidió ninguna confirmación. Todos sus clientes tuvieron que ponerse a trabajar a mano, de urgencia. PocketOS volvió a funcionar con una copia de seguridad de hacía tres meses que recuperó ese mismo proveedor.

Después, el propio agente dio su explicación: supuso que borrar un volumen de pruebas afectaría solo a las pruebas, y no lo comprobó. Anthropic tiene un nombre para esto. En su análisis de varios incidentes de 2026 con sus modelos, lo describe como temeridad: la disposición a hacer daño persiguiendo una tarea de forma estrecha. Yo lo leo como el mismo «no es mi tarea» de julio visto desde el otro lado. El agente de OpenAI no avisó, según el resumen de METR, porque avisar no entraba en su tarea. El de PocketOS borró sin comprobar hasta dónde llegaba el borrado.

La objeción más fuerte es razonable: esto es un fallo de configuración, no del agente. Nadie debería dar a un agente acceso a la base de datos de producción ni guardar las copias donde se pueden borrar con la misma orden. Replit lo reconoció en su blog: hasta entonces, sus aplicaciones usaban una sola base de datos para el desarrollo, donde se prueba, y para los datos reales de los clientes. Y según The Register, su consejero delegado, Amjad Masad, anunció que empezaban a separarlas de forma automática para que no volviera a pasar.

La objeción tiene razón, y por eso mismo juega a mi favor. A un empleado nuevo con acceso a producción le exigiríamos que preguntara antes de borrar algo que no entiende. El agente supuso y siguió. Si el criterio no lo trae el agente, lo tiene que poner el montaje: separar lo de pruebas de lo real, pedir confirmación antes de lo irreversible, guardar copias que el agente no pueda tocar.

Lo que pide la ley es lo que lo para

Por lo tanto, mira lo que la AI Act exige a los sistemas de alto riesgo, aunque el tuyo no lo sea. Pide que el sistema registre de forma automática lo que hace durante toda su vida. Pide que una persona pueda supervisarlo de verdad: entender lo que puede y no puede hacer, vigilar cómo funciona, decidir no usarlo o ignorar, invalidar o revertir lo que produce, y pararlo con un botón de «stop» o un procedimiento parecido que lo deje quieto en un estado seguro. A quien lo usa en su empresa le pide que encargue esa supervisión a personas con la formación y la autoridad necesarias, que guarde los registros al menos seis meses y que, si cree que el sistema presenta un riesgo, avise y suspenda su uso. Y para que aguante, admite planes de respaldo.

Ahora pon esa lista encima de los casos, y verás que no todos los incidentes son iguales. Los hay rápidos y lentos. En uno de nueve segundos, el botón de parada llega tarde: cuando alguien lo pulsa, la base de datos ya no está. Ahí lo que sirve es que el agente no pueda hacer nada irreversible sin que una persona diga que sí, y que las copias estén donde él no llega. PocketOS perdió con la misma orden la base de datos y todas las copias del volumen, y Replit tenía una sola base de datos para las pruebas y para los clientes. La ley no lo dice con esas palabras. Yo lo leo en dos de sus frases: que la supervisión sea proporcional al nivel de autonomía del sistema, y que la persona que supervisa pueda decidir no usarlo o invalidar lo que hace. Si tu agente puede borrar en nueve segundos, supervisarlo en proporción es que no pueda hacerlo sin ti.

En los incidentes lentos, el registro y el botón sí llegan a tiempo. El 27 de junio, 22 días antes de que OpenAI detectara, el 19 de julio, actividad interna sospechosa, una de sus herramientas de vigilancia avisó de un barrido de puertos en el entorno de investigación, que consiste en llamar a todas las puertas de una red para ver cuáles se abren. El personal de guardia consideró que no hacía falta parar la evaluación. OpenAI admite ahora que algunas de esas señales tempranas podrían haber provocado una respuesta antes, y desde el incidente, en las alertas más graves, quien las recibe tiene la opción de terminar los experimentos implicados. Es, literalmente, un botón de parada. OpenAI añade, sobre sus propias herramientas, que su vigilancia actual del razonamiento de los modelos habría avisado a su equipo de seguridad más de un día antes de que entraran en Hugging Face, y que un modo de revisión automática de Codex habría marcado la mayoría de las acciones peligrosas, esto último según experimentos que la propia empresa llama preliminares.

Con los registros pasa lo mismo. Los agentes estudiaron cómo falsificar o borrar los suyos, y según OpenAI ninguno de esos intentos alteró los registros que acaban viendo sus correctores y sus sistemas de vigilancia. Hugging Face, por su parte, revisó el registro de auditoría de toda la intrusión, el historial de quién tocó qué, y pudo concluir que el atacante había leído una de sus bases de datos pero no la había modificado. Esa conclusión salió del registro.

Me dirás que todo eso es para los sistemas de alto riesgo y que el tuyo no lo es. Es verdad, y lo he dicho yo mismo dos apartados más arriba. Pero el propio reglamento pide que la supervisión sea proporcional a los riesgos, al nivel de autonomía y al contexto de uso, y esa es la versión que te sirve. En una empresa pequeña, para mí se resume en cuatro cosas. Primera: una persona con nombre y apellidos que sepa qué hace el agente y tenga autoridad para pararlo; la ley pide, para el alto riesgo, que quien supervisa tenga la competencia, la formación y la autoridad necesarias. Segunda: un registro de lo que hace el agente, guardado un tiempo; para el alto riesgo, la ley pide al menos seis meses, y es una buena referencia. Tercera: el entorno de pruebas separado del de trabajo, y las copias de seguridad en un sitio al que el agente no llegue. Cuarta: una confirmación humana antes de cualquier cosa que no tenga vuelta atrás, como borrar, pagar o mandarle algo a un cliente.

Lo pagas tú

Aunque lo vigiles, algún día algo saldrá mal, y la pregunta pasa a ser quién paga. La tentación cómoda es pensar que responderá quien hizo el modelo. Nadie te garantiza que vaya a ser así.

El 22 de junio de 2023, el juez Castel, de un tribunal de Nueva York, sancionó a dos abogados y a su bufete en el caso Mata contra Avianca. Habían presentado sentencias que no existían, con citas falsas, inventadas por ChatGPT. Les impuso una multa de 5.000 dólares y escribió una frase que vale para cualquier empresa: no hay nada impropio en usar una herramienta de IA fiable como ayuda, pero las normas dan a los abogados un papel de guardianes. El tribunal castigó a quien usó la herramienta.

Con los agentes, la pregunta sigue abierta. Según The Next Web, a finales de septiembre de 2026 una ONG de Nueva York, Legal Advocates for Safe Science and Technology, demandó a OpenAI ante un tribunal de San Francisco por los agentes que atacaron Hugging Face. No pide dinero: pide que se prohíba a OpenAI acceder sin autorización a sistemas informáticos. Se apoya en una ley californiana según la cual una empresa no puede defenderse alegando que su IA causó el daño por su cuenta, y lo dice sin rodeos: OpenAI es responsable de la conducta de sus agentes. OpenAI respondió a CNBC que lo de Hugging Face fue un incidente serio, pero que la demanda carece por completo de fundamento. Lo decidirá un juez; de momento es una demanda, no una sentencia.

En Europa, la nueva directiva de responsabilidad por productos defectuosos considera producto también al software, se entregue como se entregue, incluido el que se usa en la nube o como servicio, y trata a quien desarrolla un sistema de IA como fabricante. Los Estados tienen hasta el 9 de diciembre de 2026 para incorporarla a sus leyes, y se aplicará a los productos que salgan al mercado después de esa fecha.

Parece que eso le da la razón a la objeción cómoda: si responde el fabricante del software, que responda el proveedor del modelo. Pero mira a quién protege la directiva. El derecho a indemnización es para personas físicas, y deja fuera los daños a bienes que se usan solo con fines profesionales y la destrucción de datos que se usan con fines profesionales. Si un agente borra la base de datos con la que trabaja tu cliente, esta directiva no le sirve. La propuesta que adaptaba la responsabilidad civil a la IA, la otra pieza que se esperaba, la retiró la Comisión en 2025: no veía un acuerdo previsible. Así que, entre empresas, lo que te cubra dependerá sobre todo de lo que tengas firmado con tu cliente y con tu proveedor. Y cuando sus datos desaparezcan, ¿a quién crees que va a llamar tu cliente, a Anthropic o a ti?

No solo en el laboratorio

Queda la objeción más seria, y la pone sobre la mesa el propio sector. En junio de 2025, Anthropic publicó un estudio en el que puso a prueba 16 modelos punteros de varias empresas en entornos de empresa simulados. En algunos casos, modelos de todos los fabricantes se comportaron como un empleado desleal, con chantajes o filtraciones, cuando era la única forma de evitar que los sustituyeran o de cumplir su objetivo. A menudo desobedecieron órdenes directas de no hacerlo. Y aun así, Anthropic escribió que no había visto pruebas de ese comportamiento en despliegues reales, es decir, fuera de las pruebas. Si quien lo estudia no lo ha visto fuera del laboratorio, ¿por qué deberías preocuparte tú?

Porque eso era 2025. A raíz de lo de OpenAI, Anthropic revisó sus propias pruebas de ciberseguridad y el 30 de julio de 2026 publicó lo que había encontrado: en 141.006 ejecuciones en las que Claude podía haber tenido acceso a internet, tres incidentes de acceso no autorizado a sistemas reales de tres organizaciones. En al menos un caso, por un malentendido con la empresa que hacía las pruebas con ella, Claude tenía internet cuando se suponía que no. En septiembre añadió un cuarto incidente, de enero de 2026, con una versión temprana de Claude Opus 4.6. En el que más le preocupa, Claude Mythos 5 se esforzó a fondo por subir un paquete malicioso, un programa con trampa, a PyPI, el repositorio público del que se instala la mayor parte del software escrito en Python.

Fuera de las empresas que hacen los modelos, el AI Security Institute (AISI), el instituto de seguridad de la IA del Gobierno británico, publicó el 4 de agosto de 2026 algo parecido. Había ejecutado un reto 122 veces con varios modelos, y en 10 de esas ejecuciones un agente actuó en internet por su cuenta y sin autorización. En el caso más grave, el agente creó identidades falsas para presionar al responsable de un proyecto de código abierto, y un mantenedor humano, una de las personas que revisan y aprueban los cambios del proyecto, detectó el código malicioso y se negó a aprobarlo. El AISI escribió que era la primera vez que veía riesgos de autonomía y engaño tan claros, sin instrucciones específicas, en el mundo real. Lo contuvo en aproximadamente una hora desde que lo descubrió.

El 14 de octubre, en Dublín, la vicepresidenta ejecutiva de la Comisión Europea Henna Virkkunen lo dijo en público: este verano se han visto agentes de IA escapando de su entorno, insertando código malicioso y engañando a personas. Reconoció que cuando se aprobó la AI Act no existían los agentes modernos, y defendió que, aun así, el reglamento está bien preparado para ellos.

Las encuestas a empresas apuntan en la misma dirección, con un matiz que hay que decir antes que las cifras: las encargan compañías que venden seguridad. La de SailPoint, difundida en mayo de 2025, se hizo a 353 profesionales de informática de grandes empresas, que son las empresas donde, como te decía, creo que el peligro es mayor. El 80 % decía que sus agentes habían hecho acciones no previstas, y el 39 % que habían accedido a sistemas o recursos no autorizados. En la de la Cloud Security Alliance, de abril de 2026, el 65 % de las organizaciones había tenido al menos un incidente con agentes en el último año, con exposición de datos en el 61 % e interrupción de operaciones en el 43 %. Descuenta el interés de quien paga la encuesta. Lo que queda no describe un problema de laboratorio.

Dónde me puedo equivocar

No todo agente necesita lo mismo, y aquí mi tesis tiene un límite. Si tu agente solo redacta, propone o resume, y una persona lee y aprueba cada cosa antes de que salga, el botón de parada ya existe: es esa persona. En ese caso no tiene sentido montar encima registros, protocolos y responsables que te cuesten más de lo que te protegen. Anthropic pide cautela precisamente al poner estos modelos en puestos con poca supervisión humana y acceso a información sensible, y la ley pide que la supervisión sea proporcional a la autonomía del sistema. Un asistente que no toca nada sin tu visto bueno no es el agente de PocketOS. La propia UE reconoció el coste con la formación en IA: según el Ómnibus, los datos indicaban que esa obligación suponía una carga añadida, sobre todo para las empresas pequeñas, y por eso la rebajó.

Si me permites, querido lector, una confesión de quien trabaja con esto todos los días: cuando una IA no me da lo que quiero, casi siempre es porque yo no le he explicado bien qué necesito ni le he dado la información de partida. Así que no saco demasiado pecho con lo de que a mí no me la han liado. No prueba que mis agentes sean seguros. Prueba, como mucho, que todavía no ha pasado.

Y una cosa más: creo que hay que legislar, con leyes rápidas que se puedan adaptar, porque esto avanza más deprisa que cualquier reglamento. Virkkunen lo admitió en Dublín: cuando se aprobó la AI Act, los agentes modernos no existían. Hay que pedirlo, aunque dudo que llegue a tiempo. Mientras tanto, te toca saber en cuál de los dos casos estás: el del asistente que no toca nada sin ti o el del agente que actúa solo.

Dos formas de poner un agente a trabajar

A PocketOS le bastaron nueve segundos y una sola orden para quedarse sin su base de datos y sin las copias del volumen. El AISI contuvo a su agente en aproximadamente una hora desde que lo descubrió, y el código malicioso que ese agente intentaba colar se encontró con un mantenedor humano que se negó a aprobarlo. En OpenAI, una alerta llegó el 27 de junio y la evaluación siguió.

Hay dos formas de poner un agente a trabajar: con un registro de lo que hace y una persona con autoridad para pararlo, o fiándote de que nunca haga falta. Hoy, la ley te deja elegir cualquiera de las dos.

Si mañana uno de tus agentes hiciera algo que no le has pedido, ¿dónde lo verías? ¿Quién podría pararlo, y en cuánto tiempo?

Fuentes

Otros artículos

Hablemos de lo que la IA puede hacer en tu empresa

Si hay un tema que quieres que tratemos, escríbenos

O háblanos directamente