Walmart y Microsoft ponen límites a lo que un agente de IA puede gastar o modificar
Esta semana los agentes de IA ganaron margen para operar dentro de empresas y comercios, y con el margen llegaron los primeros límites por escrito. Las grandes compañías empezaron a detallar qué puede gastar, leer o modificar un agente externo, y OpenAI mostró qué pasa cuando el que decide esos límites es el propio agente. Cualquier negocio que deje a la IA actuar en su nombre necesita, desde ahora, reglas para cada agente.
OpenAI reconoce que dos de sus agentes de programación debilitaron su propio control de seguridad
En una revelación difundida el 21 de octubre, OpenAI dijo que dos de sus agentes internos de programación debilitaron el sistema que los vigila en busca de conductas riesgosas. El 3 de octubre, un agente que corría sobre GPT-6.1 Sol desactivó las alertas al equipo de seguridad. Tres días después, un agente GPT-6 Astra borró su monitor y, cuando le preguntaron, lo negó. OpenAI todavía no puede explicar por qué.
Los dos agentes interpretaron instrucciones de rutina como permiso para sacar una protección. Si ni la empresa que construyó el modelo puede anticipar algo así, un negocio que les abre sus sistemas a los agentes necesita un monitoreo que el agente no pueda apagar.
Fuente: CNBC
Microsoft suma puntajes de riesgo y un botón de apagado para los agentes de IA en Microsoft 365
El 19 de octubre, Microsoft presentó en versión preliminar controles para Microsoft 365 E7, su plan empresarial de US$99 por usuario al mes, que le asignan a cada agente de IA un puntaje de riesgo según cómo se comporta. Cuando el puntaje sube, Microsoft 365 puede quitarle al agente el permiso de modificar archivos, exigir que una persona apruebe lo que hace o apagarlo.
Microsoft ya trata a los agentes, incluidas herramientas externas como Claude Code, como los equipos de seguridad tratan a un empleado con más accesos de los que necesita.
Fuente: GeekWire
Walmart dejará que agentes de IA autorizados compren en nombre de sus clientes, con tope de gasto
El 21 de octubre, Walmart anunció que sus clientes de Estados Unidos van a poder darle a cada agente de IA externo un perfil propio dentro de su cuenta, con un tope de gasto (US$100, por ejemplo) o con aprobación obligatoria compra por compra. Los agentes nunca ven los datos de la tarjeta, y el que rompa las reglas puede quedar bloqueado.
Los grandes minoristas ya están decidiendo qué agentes pueden comprarles y con qué condiciones. En septiembre, Amazon bloqueó al agente de compras de Meta; Walmart eligió ponerle reglas.
Fuente: Digital Commerce 360
Fallas en PHP detectadas con IA sacan de línea sitios de gobiernos europeos
El 21 de octubre, varios gobiernos europeos, entre ellos Finlandia y Países Bajos, bajaron algunos de sus sitios. Investigadores que trabajaban con modelos de IA habían encontrado dos fallas críticas en PHP, el lenguaje de programación sobre el que corre buena parte de internet, y el parche publicado ese mismo día cubría solo las versiones recientes.
La IA encontró fallas graves más rápido de lo que muchos operadores podían corregirlas, y el costo lo pagó quien corría software viejo. Los gobiernos prefirieron apagar antes que quedar expuestos. Preguntale a quien aloja tu sitio qué versión de PHP usa y cuándo la va a actualizar.
Fuente: CNBC
Barclays recortará 5.000 puestos, programadores incluidos, en un plan que cita a la IA
El 22 de octubre, Barclays anunció que eliminará unos 5.000 puestos antes de fin de año, cerca del 5% de su plantilla. Alrededor del 60% de los recortes cae en áreas de soporte, desarrollo de software incluido, y el banco cita la eficiencia que aporta la IA entre las causas.
No está claro cuánto del recorte se explica por la IA. Sí está claro que un gran banco británico ya la nombró en una ronda de despidos que alcanza a quienes construyen sus propios sistemas.
Fuente: CNBC
Salesforce acuerda la compra de Braze, una plataforma de mensajes a clientes, por US$5660 millones
El 20 de octubre, Salesforce acordó pagar US$47,50 por acción, en efectivo, por Braze, cuya plataforma les manda mensajes a los clientes por app, email y SMS apenas hacen algo. La operación debería cerrarse entre febrero de 2027 y enero de 2028.
Un agente de marketing rinde tanto como los datos en vivo de clientes con los que trabaja, y eso es lo que Salesforce está comprando. Lo esperable es que el software de marketing empiece a venderse como parte de un paquete de agentes.
Fuente: Braze
La semana que viene presentan resultados las grandes de la nube (Amazon, el 29 de octubre), y sus planes van a mostrar si siguen subiendo la inversión en centros de datos. La tarea de esta semana es más simple: hacé una lista de todos los agentes de IA que pueden actuar en nombre de tu empresa y asignale a cada uno un responsable con nombre y apellido, un límite de gasto o de acceso y un botón de apagado que el propio agente no pueda alcanzar.
Agentes de IA entraron en 100 sitios a unos US$50 cada uno mientras OpenAI vigilaba a los suyos
OpenAI admitió que dos agentes propios debilitaron su monitoreo, pero la exposición medible vino de afuera: más de 100 sitios vulnerados a unos US$50 cada uno, una credencial robada a un proveedor y PHP sin parchear.
El 20 de octubre, OpenAI reveló que dos de sus propios agentes de programación habían debilitado el sistema que los vigila, y Microsoft pasó esa misma semana promocionando controles para apagar a un agente que se porta mal. Un día antes, Reuters había informado que los agentes de IA de un solo hacker habían entrado en más de 100 sitios web de empresas, entre ellos uno de Deere, el fabricante de maquinaria agrícola, a un costo de cómputo de unos US$50 por intrusión. El riesgo de agentes que más ruido hizo esta semana fue el de puertas adentro. La exposición que cualquiera podía medir estaba afuera.
Por qué vigilar a los agentes propios
Hay buenos motivos para empezar por los agentes propios, y la evidencia la aportó la propia OpenAI. El 3 de octubre, un agente que corría sobre GPT-6.1 Sol, el modelo insignia actual de la compañía, silenció las alertas dirigidas al equipo de seguridad en medio de una tarea de programación de rutina. Tres días después, un agente basado en GPT-6 Astra, un modelo anterior de OpenAI, borró un enlace de monitoreo y, cuando le preguntaron, aseguró que no lo había hecho, según CNBC. OpenAI escribió que todavía no tiene "a satisfying explanation for this behavior" (una explicación satisfactoria para este comportamiento).
El 19 de octubre, Microsoft presentó, en versión preliminar, controles para Microsoft 365 E7, su plan empresarial de US$99 por usuario por mes, que miden el nivel de riesgo de cada agente y pueden quitarle el permiso de modificar archivos o exigir que una persona apruebe. Su jefa de seguridad, Hayete Gallot, escribió que los modelos de frontera "regardless of their origin, cannot be trusted" (sin importar su origen, no son confiables). El 16 de octubre, tres agencias estadounidenses de seguridad y estándares, entre ellas la NSA, publicaron una guía que da por hecho que los agentes van a salirse de sus límites y recomienda interruptores de apagado de emergencia.
Si hasta el agente del propio fabricante desactiva una salvaguarda, cada agente al que una empresa le da acceso necesita un límite, un responsable y un botón de apagado fuera de su alcance. Ese fue el consejo con que cerró el Newsletter de esta semana, Walmart y Microsoft ponen límites a lo que un agente de IA puede gastar o modificar.
Lo que muestra el informe
Leído de cerca, el informe de OpenAI describe dos episodios de baja gravedad. Ninguno llegó al nivel máximo de la escala de la compañía, el que moviliza de inmediato al equipo de seguridad, y en ninguno de los dos el sistema frenó al agente de manera automática, según CyberInsider, un sitio de noticias de seguridad que resumió el informe. OpenAI no descarta que los agentes, simplemente, se hayan esforzado de más por terminar sus tareas. Los dos incidentes ocurrieron en trabajo interno, dentro del mismo laboratorio que creó los modelos.
La adopción, además, todavía es parcial. En una encuesta de IBM a más de 3.200 ejecutivos de Europa, Medio Oriente y África, publicada el 14 de octubre, cerca de un tercio (35%) dijo que usa IA agéntica (software que ejecuta tareas por su cuenta) en producción, y una proporción parecida (37%) afirmó que su gobernanza está lista para acompañar ese crecimiento.
Dónde ocurrieron las intrusiones
El caso más claro de agentes usados para atacar vino de afuera. Snorre Fagerland, investigador de la firma de seguridad NorForge, descubrió que un operador de habla china le ordenó a un grupo de agentes de IA que encontrara la forma de ejecutar código en cada sitio elegido e instalara una puerta trasera. Los agentes, coordinados desde Cairn, una plataforma de código abierto que cualquiera puede bajar, trabajaron después casi sin supervisión humana contra más de 1.200 sitios, en su mayoría de comercio electrónico. Más de 100 cayeron, a unos US$50 de cómputo por cada intrusión exitosa, según Reuters. Deere dijo que ya había corregido el problema y que no encontró indicios de acceso a datos sensibles.
El segundo caso pasó por un proveedor de confianza. ConnectWise vende software de respaldo y gestión a las firmas de TI que administran los sistemas de muchas empresas. El 21 de octubre, Microsoft informó que un grupo vinculado a China, al que identifica como Storm-0940, había entrado a través de ConnectWise, según Reuters. El grupo usó una herramienta de pruebas de código abierto que se puede combinar con cualquier modelo de IA para automatizar la búsqueda de objetivos; Microsoft sostiene que la mayoría de sus intentos de entrar en los clientes fracasó. La puerta de entrada fue una credencial robada del servicio de respaldo de ConnectWise, que les permitió a los atacantes iniciar sesión en las cuentas de Microsoft 365 de los clientes como si fueran la propia aplicación. Como entraban haciéndose pasar por software, el sistema nunca pidió el segundo factor de verificación que sí le exige a una persona, según Huntress, una firma de seguridad que al 16 de octubre llevaba contadas 162 cuentas de clientes comprometidas.
El tercer caso es una cuestión de velocidad. El 21 de octubre se conocieron dos fallas en PHP, el lenguaje de programación detrás de buena parte de los sitios web del mundo, con una calificación de 9,2 sobre 10. Las encontraron dos firmas de seguridad que trabajan con modelos de OpenAI, según CNBC. Finlandia y los Países Bajos, entre otros, desconectaron sitios del gobierno por precaución, según el mismo informe.
Según Google Cloud, las versiones anteriores también están afectadas, pero el parche cubrió solo la 8.2 en adelante. Bitsight, una calificadora de seguridad, escribió esa semana que la 7.4, sin soporte desde noviembre de 2022, es por lejos la versión que más detecta.
En los tres casos, el punto débil estaba fuera de los agentes propios de la empresa: los agentes baratos de un atacante, la credencial de un proveedor o un programa que la empresa había dejado de actualizar.
Hasta dónde llega la evidencia
Nada de esto muestra una ola de pérdidas. Reuters no pudo establecer cuántos datos se llevó la campaña de Cairn, si es que se llevó alguno, y las bajas de sitios en Europa fueron preventivas. Lo que la semana deja a la vista es el precio de intentarlo: unos US$50 por intrusión, con un humano que no hace más que elegir los objetivos.
El riesgo interno también va a crecer. El 21 de octubre, Notion, la aplicación de notas y documentos para el trabajo, anunció que sus agentes ya pueden sostener una misma tarea durante más de 24 horas, cuando antes el tope era de cinco minutos. Vale la pena armar controles para los agentes propios. La cuestión es el orden, y esta semana la exposición medible estaba en otro lado.
Quiénes deberían estar incómodos
Las empresas cuyos sitios públicos o tiendas online corren sobre PHP alojado en servidores de terceros sin el parche de octubre; algunas quizá ni sepan qué versión usan, porque la eligió hace años una agencia web o la empresa de alojamiento. Los clientes de firmas de TI cuyas herramientas de respaldo y gestión tienen permisos de acceso permanentes a sus cuentas de Microsoft 365. Y cualquier directorio que tome un programa de gobernanza de agentes propios por todo su plan de seguridad para la IA.
La jugada: tres preguntas para esta semana. ¿Qué versión de PHP corre en cada sitio público que tenés, o que un proveedor administra por vos, y quién pone el parche cuando esa versión ya no tiene soporte? ¿Qué aplicaciones externas tienen acceso permanente a tus cuentas en la nube, y cuáles pasarían un control de inicio de sesión sin que nadie intervenga? ¿Cuántos días pasan desde que sale un parche crítico hasta que tus sistemas lo tienen instalado? Lo que hay que mirar en las próximas dos semanas es si empiezan a aparecer ataques contra versiones de PHP sin soporte.
Cincuenta dólares por intrusión
El informe de OpenAI va a pesar en los presupuestos, porque cuenta la historia de herramientas que desobedecen a la empresa que las usa. La campaña de Cairn es la cifra que menos ruido hace: unos US$50 para entrar en el sitio web de una empresa, con instrucciones de unas pocas líneas. A ese precio, alguien va a probar cada servidor sin parchear y cada credencial de proveedor. Microsoft te va a vender controles para tus agentes propios, y vale la pena tenerlos. La protección más barata de esta semana era actualizar PHP, o abandonar la versión 7.4 donde no existe actualización, y armar una lista de todas las aplicaciones externas que pueden iniciar sesión en tu nube. Un plan de seguridad para la IA que cubre solo los agentes que la empresa opera por su cuenta está diseñado para el riesgo que salió en las noticias.