Investigadores del MIT y otras instituciones colaboradoras han publicado un informe que analiza los 30 sistemas basados ​​en agentes de IA más comunes. Conclusión de la investigación (“Índice de inteligencia artificial 2025: documentación de las características sociotécnicas de los sistemas de inteligencia artificial de agentes implementados”) generalmente (en diversos grados) se preocupan y hablan de AI «fuera de control» y un ‘Pesadilla de seguridad’.

La tecnología agente se está integrando completamente en la corriente principal de la inteligencia artificial, y la semana pasada OpenAI anunció la contratación de Peter Steinberg, el creador del marco de software de código abierto OpenClaw, reforzando su compromiso con una característica considerada la «estrella» de la revolución de la inteligencia artificial.

El software OpenClaw es motivo de preocupación no sólo por sus increíbles capacidades (como un proxy que puede enviar y recibir correos electrónicos en nombre de los usuarios), sino también por sus graves fallas de seguridad, incluida la capacidad de secuestrar completamente una computadora personal.

Dada la fascinación que generan los agentes inteligentes y lo poco que se sabe sobre sus fortalezas y debilidades, es importante que investigadores de renombre analicen sus operaciones. Y todavía no hay buenas noticias Al menos desde el departamento de seguridad.porque están convencidos de que la tecnología se caracteriza por una falta de divulgación, una falta de transparencia y, sorprendentemente, una falta de protocolos básicos sobre cómo operan los agentes.

Los agentes de IA carecen de transparencia

La principal conclusión del informe es que es difícil identificar todos los problemas que pueden surgir con los agentes de IA. Esto se debe en gran medida a la falta de transparencia por parte de los desarrolladores. «Encontramos limitaciones continuas al informar sobre las características relevantes para la seguridad de los ecosistemas y los sistemas de agentes».escribe Leon Staufer, autor principal de un estudio en el que participan investigadores del MIT, la Universidad de Cambridge, la Universidad de Washington, Harvard, Stanford, la Universidad de Pensilvania y la Universidad Hebrea de Jerusalén.

En ocho categorías de divulgación diferentes, los autores observaron La mayoría de los sistemas proxy no proporcionan información. Algunos se aplican a la mayoría de las categorías. Las omisiones abarcaron desde no revelar los riesgos potenciales hasta no revelar las pruebas, si las hubiera, realizadas por terceros.

El informe está lleno de críticas a la capacidad de las actuales tecnologías de inteligencia artificial para rastrear, rastrear, monitorear y controlar. Por ejemplo, «Para muchos actores corporativos, de la información pública no queda claro si existe un seguimiento de los seguimientos de ejecución individuales».lo que significa que no existe una capacidad explícita para rastrear exactamente lo que está haciendo el programa de IA del agente.

“Doce de treinta servidores proxy no ofrecen seguimiento de uso o solo notifican cuando los usuarios alcanzan los límites de velocidad”señala el autor. esto significa Ni siquiera puedes controlar el consumo de IA del agente. Este es un tema crítico para las empresas que deben presupuestar este tipo de recursos.

La mayoría de estos agentes tampoco indican al mundo real que son artificiales.por lo que no hay forma de saber si se trata de un humano o un robot. «Por defecto, la mayoría de los agentes no revelan su naturaleza de IA a los usuarios finales ni a terceros»señalaron. En este caso, la divulgación incluiría medidas como agregar una marca de agua al archivo de imagen generado para dejar claro cuándo fue creado por inteligencia artificial, o responder al archivo «robots.txt» de un sitio web para identificar al agente como una automatización en lugar de un visitante humano.

Algunas de estas herramientas de software no proporcionan ninguna forma de impedir la ejecución de un agente determinado. Sistemas de automatización creados por MobileAgent de Alibaba, Breeze de HubSpot, Watsonx de IBM y el fabricante de software alemán n8n. “Falta de opciones de detención documentadas a pesar de la aplicación autónoma”.

«Para las plataformas empresariales, a veces la única opción es detener todos los agentes o revertir la implementación»señalaron. Este es un gran problema porque descubrir que no se puede detener algo que está haciendo algo incorrecto debe ser una de las peores situaciones Para una organización grande, los resultados perjudiciales de la automatización superan los beneficios.

El autor anticipa estos Problemas de transparencia y control Este fenómeno persiste y se vuelve aún más pronunciado entre los agentes de IA. “A medida que aumenten las capacidades de los agentes, los desafíos de gobernanza documentados aquí (fragmentación del ecosistema, tensiones de comportamiento de la red, falta de evaluaciones específicas de los agentes) se volverán importantes”garantizan.

Stover y su equipo también dijeron que intentaron obtener comentarios de empresas cuyo software fue revisado durante cuatro semanas. Aproximadamente una cuarta parte de los encuestados respondió, “Pero sólo 3 de 30 tenían comentarios sustanciales”. Estos comentarios se han incorporado al informe, escribieron los autores. También proporcionan a la empresa un formulario para las correcciones en curso.

panorama en constante expansión

Agent AI es una rama del aprendizaje automático que ha surgido en los últimos años para mejorar las capacidades de grandes modelos de lenguaje y chatbots. Según el caso de uso, el producto y el proveedor, es posible que vea diferentes definiciones de agentes de IA. Sin embargo, en términos generales, podemos definirlos como herramientas de software que pueden realizar tareas de forma autónoma.

Hay más. A los agentes no se les asignan simplemente tareas individuales dictadas por instrucciones textuales; Programas de inteligencia artificial que se conectan a recursos externoscomo las bases de datos, y se les otorga un grado de «autonomía» para perseguir objetivos más allá del alcance de las conversaciones basadas en texto.

Esta autonomía puede incluir la realización de múltiples pasos en el flujo de trabajo de la empresa, como recibir órdenes de compra por correo electrónico, ingresarlas en una base de datos y verificar la disponibilidad en el sistema de inventario. Los agentes también se están utilizando para automatizar varias etapas de las interacciones de servicio al cliente, reemplazando algunas de las consultas básicas por teléfono, correo electrónico o mensajes de texto que tradicionalmente manejan los representantes de servicio al cliente.

Por lo tanto, los autores del estudio dividieron la IA del agente en tres categorías: chatbots con funcionalidad adicional, como la herramienta Claude Code de Anthropic; extensiones de navegador web o navegadores específicos de IA, como Atlas Browser de OpenAI; y soluciones de software empresarial como Microsoft Office 365 Copilot. Esto es sólo una muestra: señalan que otros estudios han cubierto cientos de soluciones de tecnología proxy.

Sin embargo, la mayoría de los agentes «Se basan en un pequeño conjunto de modelos de última generación de código cerrado»dijeron Stauffer y su equipo. La mayoría de estos proxies se basan en GPT de OpenAI, Claude de Anthropic y Gemini de Google.

Lo bueno y lo malo de los agentes de inteligencia artificial

La investigación no se basa en pruebas directas de las herramientas del agente, sino en «anotaciones» de la documentación proporcionada por desarrolladores y proveedores. Esto incluye «Solo información pública procedente de documentos, sitios web, presentaciones, artículos publicados y documentos de gobernanza»según explicaron. Sin embargo, en algunos sistemas se establecen cuentas de usuario para verificar el funcionamiento real del software.

El autor aporta tres ejemplos que profundizan en el tema y lo confirman. Hay diferentes niveles funcionales entre los agentes de IA. Un ejemplo positivo, escriben, es el agente ChatGPT de OpenAI, que puede interactuar con sitios web cuando los usuarios solicitan tareas de red en mensajes. Este proxy se considera explícitamente como el único de los sistemas de proxy analizados que proporciona un medio de seguimiento del comportamiento mediante la firma criptográfica de solicitudes del navegador.

En comparación, el navegador web Comet de Perplexity parece un desastre de seguridad. Stover y su equipo descubrieron que el programa no tenía evaluaciones de seguridad específicas del agente, pruebas de terceros ni divulgaciones comparativas de rendimiento. Además, Perplexity no ha documentado los métodos o resultados de la evaluación de seguridad de Comet. Además, no hay manera salvadera Tampoco ha habido contención más allá de una rápida inyección de medidas de mitigación.

Un tercer ejemplo es la suite de agentes Breeze del proveedor de software empresarial HubSpot. Se trata de automatizaciones que pueden interactuar con sistemas de registro, como los sistemas de gestión de relaciones con los clientes. Descubrieron que la herramienta Breeze tenía ventajas y desventajas. Por un lado, están certificados para numerosas medidas de cumplimiento empresarial, como SOC2, GDPR e HIPAA.

HubSpot, por otro lado, no proporciona información sobre pruebas de seguridad. Señaló que el agente Breeze fue evaluado por la firma de seguridad externa PacketLabs. «pero no proporciona métodos, resultados o detalles de la entidad de prueba». La práctica de demostrar la aprobación del cumplimiento sin revelar evaluaciones de seguridad. cierto es «Plataforma de negocio típica»dijeron Stauffer y su equipo.

asumir la responsabilidad

El informe no examinó incidentes en la práctica, donde la tecnología de agentes produjo comportamientos inesperados o no deseados y produjo resultados indeseables. esto significa Todavía no conocemos el impacto total de los defectos señalados por los autores.. Pero una cosa está clara: la IA del agente es producto de decisiones específicas tomadas por los equipos de desarrollo. Estos agentes son herramientas creadas y distribuidas por humanos.

Por lo tanto, existe la responsabilidad de documentar el software, auditar el programa para detectar problemas de seguridad y proporcionar controles. recae directamente en el proveedoren OpenAI, Anthropic, Google, Microsoft, Perplexity y otras organizaciones. Tienen la responsabilidad de tomar las medidas necesarias para corregir las graves fallas que se han identificado, o enfrentarán futuras regulaciones y una pérdida de confianza por no cumplir las promesas (quizás demasiado optimistas) de los agentes de IA.

* Imagen de portada generada por IA