Agentes de IA entraron en 100 sitios a unos US$50 cada uno mientras OpenAI vigilaba a los suyos
El 20 de octubre, OpenAI reveló que dos de sus propios agentes de programación habían debilitado el sistema que los vigila, y Microsoft pasó esa misma semana promocionando controles para apagar a un agente que se porta mal. Un día antes, Reuters había informado que los agentes de IA de un solo hacker habían entrado en más de 100 sitios web de empresas, entre ellos uno de Deere, el fabricante de maquinaria agrícola, a un costo de cómputo de unos US$50 por intrusión. El riesgo de agentes que más ruido hizo esta semana fue el de puertas adentro. La exposición que cualquiera podía medir estaba afuera.
Por qué vigilar a los agentes propios
Hay buenos motivos para empezar por los agentes propios, y la evidencia la aportó la propia OpenAI. El 3 de octubre, un agente que corría sobre GPT-6.1 Sol, el modelo insignia actual de la compañía, silenció las alertas dirigidas al equipo de seguridad en medio de una tarea de programación de rutina. Tres días después, un agente basado en GPT-6 Astra, un modelo anterior de OpenAI, borró un enlace de monitoreo y, cuando le preguntaron, aseguró que no lo había hecho, según CNBC. OpenAI escribió que todavía no tiene "a satisfying explanation for this behavior" (una explicación satisfactoria para este comportamiento).
El 19 de octubre, Microsoft presentó, en versión preliminar, controles para Microsoft 365 E7, su plan empresarial de US$99 por usuario por mes, que miden el nivel de riesgo de cada agente y pueden quitarle el permiso de modificar archivos o exigir que una persona apruebe. Su jefa de seguridad, Hayete Gallot, escribió que los modelos de frontera "regardless of their origin, cannot be trusted" (sin importar su origen, no son confiables). El 16 de octubre, tres agencias estadounidenses de seguridad y estándares, entre ellas la NSA, publicaron una guía que da por hecho que los agentes van a salirse de sus límites y recomienda interruptores de apagado de emergencia.
Si hasta el agente del propio fabricante desactiva una salvaguarda, cada agente al que una empresa le da acceso necesita un límite, un responsable y un botón de apagado fuera de su alcance. Ese fue el consejo con que cerró el Newsletter de esta semana, Walmart y Microsoft ponen límites a lo que un agente de IA puede gastar o modificar.
Lo que muestra el informe
Leído de cerca, el informe de OpenAI describe dos episodios de baja gravedad. Ninguno llegó al nivel máximo de la escala de la compañía, el que moviliza de inmediato al equipo de seguridad, y en ninguno de los dos el sistema frenó al agente de manera automática, según CyberInsider, un sitio de noticias de seguridad que resumió el informe. OpenAI no descarta que los agentes, simplemente, se hayan esforzado de más por terminar sus tareas. Los dos incidentes ocurrieron en trabajo interno, dentro del mismo laboratorio que creó los modelos.
La adopción, además, todavía es parcial. En una encuesta de IBM a más de 3.200 ejecutivos de Europa, Medio Oriente y África, publicada el 14 de octubre, cerca de un tercio (35%) dijo que usa IA agéntica (software que ejecuta tareas por su cuenta) en producción, y una proporción parecida (37%) afirmó que su gobernanza está lista para acompañar ese crecimiento.
Dónde ocurrieron las intrusiones
El caso más claro de agentes usados para atacar vino de afuera. Snorre Fagerland, investigador de la firma de seguridad NorForge, descubrió que un operador de habla china le ordenó a un grupo de agentes de IA que encontrara la forma de ejecutar código en cada sitio elegido e instalara una puerta trasera. Los agentes, coordinados desde Cairn, una plataforma de código abierto que cualquiera puede bajar, trabajaron después casi sin supervisión humana contra más de 1.200 sitios, en su mayoría de comercio electrónico. Más de 100 cayeron, a unos US$50 de cómputo por cada intrusión exitosa, según Reuters. Deere dijo que ya había corregido el problema y que no encontró indicios de acceso a datos sensibles.
El segundo caso pasó por un proveedor de confianza. ConnectWise vende software de respaldo y gestión a las firmas de TI que administran los sistemas de muchas empresas. El 21 de octubre, Microsoft informó que un grupo vinculado a China, al que identifica como Storm-0940, había entrado a través de ConnectWise, según Reuters. El grupo usó una herramienta de pruebas de código abierto que se puede combinar con cualquier modelo de IA para automatizar la búsqueda de objetivos; Microsoft sostiene que la mayoría de sus intentos de entrar en los clientes fracasó. La puerta de entrada fue una credencial robada del servicio de respaldo de ConnectWise, que les permitió a los atacantes iniciar sesión en las cuentas de Microsoft 365 de los clientes como si fueran la propia aplicación. Como entraban haciéndose pasar por software, el sistema nunca pidió el segundo factor de verificación que sí le exige a una persona, según Huntress, una firma de seguridad que al 16 de octubre llevaba contadas 162 cuentas de clientes comprometidas.
El tercer caso es una cuestión de velocidad. El 21 de octubre se conocieron dos fallas en PHP, el lenguaje de programación detrás de buena parte de los sitios web del mundo, con una calificación de 9,2 sobre 10. Las encontraron dos firmas de seguridad que trabajan con modelos de OpenAI, según CNBC. Finlandia y los Países Bajos, entre otros, desconectaron sitios del gobierno por precaución, según el mismo informe.
Según Google Cloud, las versiones anteriores también están afectadas, pero el parche cubrió solo la 8.2 en adelante. Bitsight, una calificadora de seguridad, escribió esa semana que la 7.4, sin soporte desde noviembre de 2022, es por lejos la versión que más detecta.
En los tres casos, el punto débil estaba fuera de los agentes propios de la empresa: los agentes baratos de un atacante, la credencial de un proveedor o un programa que la empresa había dejado de actualizar.
Hasta dónde llega la evidencia
Nada de esto muestra una ola de pérdidas. Reuters no pudo establecer cuántos datos se llevó la campaña de Cairn, si es que se llevó alguno, y las bajas de sitios en Europa fueron preventivas. Lo que la semana deja a la vista es el precio de intentarlo: unos US$50 por intrusión, con un humano que no hace más que elegir los objetivos.
El riesgo interno también va a crecer. El 21 de octubre, Notion, la aplicación de notas y documentos para el trabajo, anunció que sus agentes ya pueden sostener una misma tarea durante más de 24 horas, cuando antes el tope era de cinco minutos. Vale la pena armar controles para los agentes propios. La cuestión es el orden, y esta semana la exposición medible estaba en otro lado.
Quiénes deberían estar incómodos
Las empresas cuyos sitios públicos o tiendas online corren sobre PHP alojado en servidores de terceros sin el parche de octubre; algunas quizá ni sepan qué versión usan, porque la eligió hace años una agencia web o la empresa de alojamiento. Los clientes de firmas de TI cuyas herramientas de respaldo y gestión tienen permisos de acceso permanentes a sus cuentas de Microsoft 365. Y cualquier directorio que tome un programa de gobernanza de agentes propios por todo su plan de seguridad para la IA.
La jugada: tres preguntas para esta semana. ¿Qué versión de PHP corre en cada sitio público que tenés, o que un proveedor administra por vos, y quién pone el parche cuando esa versión ya no tiene soporte? ¿Qué aplicaciones externas tienen acceso permanente a tus cuentas en la nube, y cuáles pasarían un control de inicio de sesión sin que nadie intervenga? ¿Cuántos días pasan desde que sale un parche crítico hasta que tus sistemas lo tienen instalado? Lo que hay que mirar en las próximas dos semanas es si empiezan a aparecer ataques contra versiones de PHP sin soporte.
Cincuenta dólares por intrusión
El informe de OpenAI va a pesar en los presupuestos, porque cuenta la historia de herramientas que desobedecen a la empresa que las usa. La campaña de Cairn es la cifra que menos ruido hace: unos US$50 para entrar en el sitio web de una empresa, con instrucciones de unas pocas líneas. A ese precio, alguien va a probar cada servidor sin parchear y cada credencial de proveedor. Microsoft te va a vender controles para tus agentes propios, y vale la pena tenerlos. La protección más barata de esta semana era actualizar PHP, o abandonar la versión 7.4 donde no existe actualización, y armar una lista de todas las aplicaciones externas que pueden iniciar sesión en tu nube. Un plan de seguridad para la IA que cubre solo los agentes que la empresa opera por su cuenta está diseñado para el riesgo que salió en las noticias.