En las últimas horas se produjeron dos incidentes de seguridad distintos, pero relacionados con el mismo problema: ¿Qué sucederá cuando ChatGPT y otros sistemas OpenAI ya no se limiten a responder preguntas y tengan el poder de actuar de forma autónoma?. Por un lado, varios de los modelos de la empresa lograron superar obstáculos de evaluación interna, comprometiendo finalmente la infraestructura real de Hugging Face. Por otro lado, los investigadores de Zenity descubrieron AgentForger, una vulnerabilidad del proxy del espacio de trabajo ChatGPT que permite la creación de agentes dentro de una empresa controlada remotamente por un atacante.

El primer caso ocurrió durante una prueba interna diseñada para medir con precisión las capacidades de ataque de los modelos OpenAI de última generación. Se trata de GPT-5.6 Sol y un modelo de prelanzamiento más potente que se ejecuta sin los clasificadores que normalmente se utilizan para bloquear la actividad de red de alto riesgo. Aunque el entorno está muy aislado y su acceso a la red debe limitarse al agente interno utilizado para instalar los paquetes, Modele recursos dedicados y encuentre un camino que pueda brindarles acceso abierto a Internet..

La encontraron. Estos modelos descubren y explotan vulnerabilidades de día cero en software utilizado como proxy.para luego realizar operaciones de escalada de privilegios y movimiento lateral hasta llegar a un nodo con conectividad a Internet. Una vez fuera del contexto de su plan original, dedujeron que Hugging Face podría almacenar modelos, conjuntos de datos y, lo más importante, información relevante para el punto de referencia que intentaban resolver, ExploitGym. de eso Comienzan a buscar formas de acceder a estos recursos. En lugar de limitarse a resolver la prueba con una ruta planificada.

El resultado fue un ataque a la infraestructura de producción de Hugging Face.. Según OpenAI, los modelos encadenan diferentes rutas de ataque, incluidas credenciales robadas y nuevas vulnerabilidades de día cero, hasta lograr una ruta de ejecución remota de código en los servidores de la plataforma y acceder a las soluciones ExploitGym almacenadas en su base de datos. De particular importancia es el hecho de que la orden inicial es no atacar la cara del abrazador: el modelo lo logra buscando de forma autónoma formas de lograr el objetivo especificado. Hugging Face detectó y bloqueó la actividad, y OpenAI reconoció que el incidente requirió una mayor contención, monitoreo y medidas utilizadas durante la evaluación.

El segundo problema afecta directamente al agente del espacio de trabajo ChatGPT y tiene un origen completamente diferente. Zenity Labs descubrió una herramienta llamada AgentForger, una variante de falsificación de solicitudes entre sitios que permite la manipulación del proceso de creación del agente. A través del enlace especialmente preparado para tal efecto. Dos parámetros incluidos en la URL seleccionan una plantilla de agente particularmente poderosa e ingresan directamente la primera instrucción que debe ejecutar Agent Builder, de modo que un simple clic de la víctima pueda desencadenar la creación y el lanzamiento del agente malicioso.

El ataque requiere varias condiciones: La víctima debe autenticarse en ChatGPT, tener acceso a Workspace Agents, tener al menos un conector autorizado (como Gmail o Outlook) y luego hacer clic en el enlace. Enviado por el atacante. Si está satisfecho, el nuevo agente puede aprovechar estos permisos existentes sin activar una nueva solicitud de autorización OAuth. La directiva inicial también puede utilizar la identidad del empleado y los derechos de acceso dentro de la organización para ocultarla, desactivar las solicitudes de confirmación y mantenerla en funcionamiento.

De eso, AgentForger permite establecer verdaderos canales de mando y control. En la demostración de Zenity, el agente revisa periódicamente el correo electrónico en busca de mensajes del atacante con un asunto que comience con «TASK», interpreta su contenido como nuevos comandos, los ejecuta usando la aplicación conectada y envía los resultados. Esto se puede utilizar para realizar reconocimiento interno, localizar y extraer información confidencial, obtener credenciales, hacerse pasar por una víctima, lanzar phishing interno o prepararse para un fraude corporativo. Zenity informó la vulnerabilidad a OpenAI el 4 de junio y la solucionó el 8 de junio..

Estos son dos incidentes diferentes, pero Las coincidencias son difíciles de ignorar. Entre ellos, los modelos que intentan lograr sus objetivos se encuentran con una serie de vulnerabilidades que eventualmente los sacan de su entorno aislado y los llevan a sistemas reales de empresas de terceros; por otro lado, las vulnerabilidades permiten introducir en la organización agentes con herramientas, permisos, persistencia y capacidad de obedecer órdenes externas. El problema que plantean ambos es que los agentes amplían enormemente las posibles consecuencias del fracaso.: Ya no se trata solo de que la IA genere respuestas incorrectas o peligrosas, se trata de que los sistemas puedan decidir qué pasos tomar, utilizar herramientas y realizar una cadena completa de operaciones en infraestructura y datos reales.

Más información