El AI Act busca el riesgo sistémico en el modelo. El de los agentes está en la suma

El World Economic Forum ha publicado este mes un briefing breve, Governing Agentic AI: Managing Systemic Risk for Trusted Adoption, y su punto de partida es incómodo para cualquiera que gobierne IA dentro de una organización. Los riesgos que describe no necesitan mala intención ni ningún agente especialmente listo. Nacen de la delegación rutinaria a escala: muchas organizaciones que, cada una por su lado y con buen criterio, le pasan tareas, decisiones y accesos a agentes construidos sobre los mismos pocos modelos.

Lo que me interesa del texto no son sus propuestas institucionales, que van para largo. Es que obliga a preguntarse dónde busca el reglamento europeo el riesgo sistémico, y la respuesta es que lo busca en otro sitio.

Dónde lo busca el AI Act

El reglamento define el riesgo sistémico en su artículo 3, punto 65: un riesgo específico de las capacidades de gran impacto de los modelos de IA de uso general, con repercusiones considerables en el mercado de la Unión, «que puede propagarse a gran escala a lo largo de toda la cadena de valor».

La propagación está en la definición, así que no se puede decir que el reglamento no la vea. Pero la cuelga de un sitio concreto: de la capacidad de un modelo. Un modelo tiene riesgo sistémico si tiene capacidades de gran impacto, con la presunción de cómputo del artículo 51, y entonces su proveedor carga con el artículo 55: evaluar el modelo con pruebas adversarias, evaluar y mitigar los riesgos a escala de la Unión que puedan derivarse «del desarrollo, la introducción en el mercado o el uso» del modelo, comunicar los incidentes graves a la Oficina de IA y protegerlo frente a ataques.

Lo he resumido en la entrada del glosario con una advertencia: el riesgo sistémico del AI Act no tiene nada que ver con el financiero, aunque el nombre venga de ahí. La advertencia sigue valiendo, y es justo la que explica el hueco: lo que describe el WEF es el financiero.

Dónde nace el de los agentes

El briefing distingue tres riesgos con el vocabulario de la banca. El idiosincrático es de un solo actor y se diversifica: un agente de atención al cliente que se inventa una política de devoluciones le cuesta dinero a quien lo desplegó y a nadie más. El sistemático viene de un factor común que mueve a todos a la vez, como una subida de precios de los modelos, y se puede prever y contratar. El sistémico nace dentro del propio sistema: un fallo local se transmite por las conexiones y acaba en cascada.

En los agentes, la conexión es la dependencia compartida. El ejemplo del briefing que mejor lo explica es el de la reposición. Agentes de compra de muchos minoristas, construidos sobre los mismos modelos y leyendo los mismos datos de demanda, reaccionan a una primera señal de escasez pidiendo más y desviándose a los mismos proveedores alternativos. Entre todos provocan la escasez que cada uno intentaba evitar, que es el efecto látigo de toda la vida a la velocidad de una máquina. El WEF recuerda que esto ya tiene precedente: en 2011 los algoritmos de precios de dos librerías se persiguieron el uno al otro hasta poner un libro de biología a más de 23 millones de dólares.

Ninguno de esos despliegues es imprudente por separado. El problema es la suma, y nadie está obligado a mirarla. El proveedor del modelo ve su modelo, pero no los agentes que otras organizaciones montan encima, con sus permisos y sus datos. Cada responsable del despliegue ve su agente y no los de los demás. Y las obligaciones del artículo 26 del AI Act se aplican sistema a sistema, y solo cuando el sistema es de alto riesgo, que muchos agentes no son.

Lo que en seguros se llama cúmulo

En seguros este problema tiene nombre desde hace mucho: el cúmulo. Una aseguradora no evalúa una póliza de incendios mirando solo esa casa; mira cuántas casas tiene aseguradas en la misma calle, porque un solo incendio las alcanza todas. Cada póliza puede estar bien suscrita y la cartera, mal construida.

El gobierno de agentes que veo hoy en el sector mira póliza a póliza. Se evalúa cada agente por separado y se aprueba o no. Lo que casi nunca se pregunta es cuántos agentes dependen del mismo modelo, del mismo proveedor o de la misma plantilla de permisos, y qué pasaría si ese elemento común fallara igual en todos.

Una organización no puede ver la suma de todo el mercado, pero sí su propio cúmulo, y para eso le hacen falta dos datos que el inventario de sistemas no suele tener.

El primero es qué le ha delegado a cada agente. El briefing distingue cuatro cosas que se pueden delegar: una tarea (redactar, ordenar una bandeja), una decisión (aprobar, conceder), un acceso (credenciales, alcance sobre los datos) y una autoridad (comprometer recursos o desencadenar acciones). El riesgo no sube de forma lineal, sube de golpe al pasar al acceso y a la autoridad, porque a partir de ahí el error ya no se queda en una recomendación y se ejecuta sobre sistemas reales. Un inventario que solo apunta el sistema y su finalidad no distingue un agente que propone de uno que paga.

El segundo es de qué depende cada agente a la vez que otros: el modelo, el proveedor, la plataforma sobre la que se orquesta y las credenciales que comparte. Con esa columna se puede contestar la pregunta del cúmulo. Si mañana un modelo empieza a fallar igual en todos sus clientes, qué agentes propios heredan el fallo y qué pueden hacer con lo que tienen delegado.

Ninguna norma pide hoy esa pregunta para los agentes. Hacerla es una decisión de gobierno, y cuesta poco, porque el inventario ya existe.

La supervisión que llega tarde

Hay una frase del briefing que me ha parecido de lo más útil del texto: la supervisión que hay que ejercer en segundos es supervisión solo de nombre. Los agentes actúan a la velocidad de la máquina, y las personas que trabajan con ellos acaban decidiendo a ese ritmo y no al suyo.

El AI Act ya da el anclaje. El artículo 14.3 dice que las medidas de supervisión humana serán proporcionales a los riesgos, «al nivel de autonomía» y al contexto de uso del sistema. Más autonomía pide más supervisión, y en un agente que actúa en segundos la supervisión que vale es la que está construida antes: condiciones de parada que se cumplen solas, límites de ritmo, y una ruta de escalado a una persona con nombre para las decisiones con consecuencias financieras, legales o de seguridad. Para esas decisiones el WEF pide juicio humano obligatorio y no una revisión opcional.

Lo que el registro de incidentes no recoge

La última propuesta del briefing es un registro confidencial de incidentes y casi incidentes, al estilo de la aviación, donde las organizaciones cuenten los fallos de sus agentes antes de que se propaguen.

El AI Act tiene notificación de incidentes, pero solo de los graves, y su definición (artículo 3, punto 49) pide una consecuencia: un daño a la salud, una alteración grave e irreversible de una infraestructura crítica, un incumplimiento de derechos fundamentales o daños graves a la propiedad o al medio ambiente. Lo que estuvo a punto de pasar no entra. Y en un riesgo que nace de la suma, lo que estuvo a punto de pasar es justo la señal que importa, porque es la que avisa de que el mismo fallo puede estar en otros sitios.

Mientras ese registro común no exista, cada organización puede llevar el suyo. He escrito aparte sobre por qué cero incidentes no es una métrica, y con los agentes el argumento se agrava: un registro que solo recoge lo que ya ha causado daño llega siempre después.

La conclusión del WEF es que cada despliegue de agentes puede ser prudente por separado y el conjunto, frágil, igual que ningún banco habría evitado la crisis de 2008 con un buen balance propio. Desde mi punto de vista eso no exime a ninguna organización, pero sí cambia lo que tiene que preguntarse quien aprueba agentes. Además de si cada uno está bien aprobado, qué tienen en común los que ya se han aprobado.