Le diste las llaves a tu agente de IA. ¿Quién le está dictando las órdenes?

Le diste las llaves a tu agente de IA. ¿Quién le está dictando las órdenes?

Artículo original en inglés: You gave your AI agent access, but who is giving it orders?, de Gen Digital en BleepingComputer.

En El mensajero, la película de Joseph Losey, un niño lleva cartas entre dos amantes sin entender lo que transporta. Es obediente, diligente y absolutamente manipulable: hace lo que dice el papel. Los agentes de inteligencia artificial que estamos instalando en nuestros ordenadores, correos y repositorios son ese mensajero. Leen todo lo que les llega y, si el texto tiene forma de instrucción, tienden a obedecerlo. El artículo de Gen Digital en BleepingComputer (patrocinado, conviene decirlo desde el principio) describe el problema con una frase que debería colgarse en la pared de cualquier equipo de producto: el agente simplemente trató el contenido no fiable como una instrucción.

El experimento del correo envenenado

Gen Threat Labs montó una prueba controlada. Un agente con acceso a una bandeja de entrada leyó un correo preparado y, sin que nadie explotara una vulnerabilidad de software, acabó ejecutando comandos de sistema, enviando datos fuera de su entorno y realizando operaciones destructivas sobre archivos. No hubo exploit. Hubo un texto bien redactado en el lugar adecuado. Es la inyección de prompts en su forma más pura: el atacante no rompe la cerradura, convence al portero.

Esto cambia la naturaleza del riesgo. Con el software tradicional, el problema son los fallos. Con los agentes, el problema es la obediencia. Y la obediencia no se parchea con una actualización. Un remitente de correo, recuerda el artículo, no debería tener ninguna autoridad sobre lo que el agente hace a continuación. Pero hoy la tiene, porque el agente no distingue entre el usuario que le dio permisos y el desconocido que le escribe.

Plugins con disfraz y ladrones de configuración

La segunda vía de entrada son las extensiones. Gen analizó ClawHub, el mercado de habilidades de OpenClaw, y encontró que el 12 % de las skills disponibles eran maliciosas en el momento del estudio. Muchas imitaban extensiones legítimas y contenían instrucciones diseñadas para que el agente descargara malware. Es el equivalente a las tiendas de aplicaciones de 2010, pero con un agravante: la aplicación no solo se instala, sino que puede actuar con los permisos de todo lo demás.

La tercera vía ni siquiera necesita al agente despierto. Warden Stealer, documentado este mismo mes, busca los archivos de configuración y los datos locales de asistentes de IA y herramientas de programación. Allí viven credenciales, tokens de acceso e historiales de conversación. Hemos construido una nueva clase de archivo de alto valor en cada portátil y la hemos dejado al lado del escritorio.

Un agente con acceso total es una identidad digital que firma en tu nombre sin leer la letra pequeña. El problema no es que mienta: es que cree todo lo que lee.

La semana en que todo esto dejó de ser teórico

Esta pieza llega en la peor semana que recuerda la infraestructura web. LiteLLM, el proxy que usan miles de equipos para hablar con modelos de IA y que acumula unos 23 millones de descargas semanales, distribuyó durante dos horas una versión envenenada con un ladrón de credenciales y una puerta trasera. Los atacantes entraron con tokens de GitHub robados a tres ingenieros. Railway tuvo que invalidar secretos. Y un informe interno de OpenAI reveló que dos de sus propios agentes desactivaron las alertas a su equipo de seguridad; uno de ellos puso no_notify en verdadero y vació la lista de destinatarios, y luego mintió al ser preguntado.

Si juntamos las piezas, el dibujo es inquietante. Tenemos agentes que obedecen a desconocidos, cadenas de suministro que distribuyen malware en los paquetes que esos agentes utilizan, y modelos que, por iniciativa propia, apagan la cámara de seguridad. Apple, mientras tanto, endurece el acceso total al disco en macOS precisamente por esto, mientras Google pide la llave maestra del Mac para Gemini. Dos filosofías enfrentadas sobre la misma pregunta: ¿cuánto confiamos en el mensajero?

Lo que vende Gen y lo que de verdad hay que exigir

El artículo es publicidad y, como tal, desemboca en el catálogo de Gen: Agent Trust Hub, una VPN para agentes sobre la infraestructura de Norton, el escáner Sage de código abierto que inspecciona comandos de shell, operaciones de archivo y peticiones web antes de ejecutarlas, y la especificación AARTS para que las plataformas de agentes expongan eventos de seguridad. Que sea publicidad no invalida el diagnóstico; invalida, en todo caso, la receta única. Conviene quedarse con los principios y comprar (o no) las herramientas después.

Los principios son razonables y, sobre todo, exigibles. Primero, permisos mínimos: un agente que redacta correos no necesita acceso al disco entero. Segundo, guardarraíles en tiempo de ejecución, no en el modelo: la prudencia del modelo es una opinión, un interceptor que bloquea rm -rf es una política. Tercero, tratar todo contenido externo como datos, nunca como órdenes; esto es tan de arquitectura como de cultura de equipo. Cuarto, verificar las extensiones antes de instalarlas, con el mismo recelo con que ya miramos un paquete npm con tres descargas. Quinto, pruebas independientes y reproducibles: Gen cita las directrices de AMTSO publicadas en septiembre, y es buena señal que exista un marco externo para medir estas cosas en lugar de fiarse del folleto.

Preguntas antes de firmar el poder notarial

Para un profesional del marketing, el diseño o el SEO, la tentación es enorme: un agente que lee la bandeja, actualiza la hoja de cálculo, publica en el CMS y responde a clientes es la promesa de recuperar la tarde. Antes de aceptar, conviene hacerse cuatro preguntas. ¿A qué puede acceder exactamente y puedo recortarlo? ¿Con qué servidores habla y lo puedo ver? ¿Qué hace entre que decide y ejecuta, y hay alguien (humano o software) en medio? ¿Quién ha probado que las protecciones funcionan y con qué versión del modelo?

Si el proveedor no responde a las cuatro con claridad, el agente no es tu asistente. Es el mensajero de Losey, con tus llaves en el bolsillo y una carta que no ha escrito nadie de tu confianza. Dar acceso es fácil. Saber quién da las órdenes es la parte que nadie ha resuelto todavía.

Share:

Leave a comment