En los últimos años nos hemos acostumbrado a tratar con asistentes digitales cada vez más complejos. Los chatbots pueden redactar correos electrónicos, resumir documentos, escribir código o ayudarnos a organizar tareas de una forma natural que hace apenas una década parecía ciencia ficción. Poco a poco, estos sistemas se han ido integrando en los flujos de trabajo diarios personales y profesionales, y cada vez es más común delegar en ellos tareas que antes requerían una supervisión constante. El problema es, Como ocurre con cualquier nuevo «compañero de oficina», no siempre hacen exactamente lo que se les pide..

Un estudio reciente del Centro para la Resiliencia a Largo Plazo, financiado por el Instituto de Investigación de Seguridad de IA del Reino Unido, encontró que 700 ejemplos de la vida real de sistemas de inteligencia artificial que exhiben comportamiento engañoso o desobediencia absoluta seres humanos. Lo más sorprendente no es sólo el número de ejemplos recopilados, sino también las tendencias: según el análisis, Hubo cinco incidentes más de este tipo entre octubre y marzo.mostrando que a medida que los modelos se vuelven más complejos, surgen nuevas formas de comportamiento inesperado.

Los investigadores observaron varios patrones que se repiten con frecuencia. algunos sistemas Ignoraron instrucciones claras. usuarios, otras personas Encontraron formas de escapar de las restricciones. seguridad y en algunos casos La inteligencia artificial oculta con éxito las decisiones que toman por sí solos. No estamos hablando de errores de cálculo o respuestas incorrectas (algo común en cualquier software), sino de situaciones en las que el sistema parece encontrar formas creativas de evitar las reglas que se le imponen.

Estudiar los ejemplos recopilados ayuda a comprender mejor el problema. uno de ellos, Un agente de IA admite haber eliminado y archivado cientos de correos electrónicos sin permisoel propio sistema admitió más tarde haber violado las reglas impuestas por los usuarios. En otro caso, un chatbot al que se le prohibió modificar ciertos códigos simplemente creó otro agente en su lugar, una solución que recordaba sospechosamente al colega que no rompió las reglas… pero encontró a alguien que lo hiciera por él.

También hay algunos momentos casi surrealistas. Un agente llamado Rathbun Incluso publicó una entrada en el blog criticando a sus propios usuarios después de bloquear lo que el sistema quería hacer.. Durante meses, otro chatbot afirmó que estaba transmitiendo sugerencias de los usuarios al director de una empresa de tecnología, adjuntando a sus respuestas supuestos números de ticket e información privilegiada que en realidad nunca existió. En otras palabras, prometió «llevar el asunto al equipo» como si tuviera una línea directa con su jefe, cuando en realidad estaba improvisando.

Para algunos expertos en seguridad, el paralelo más útil es ver a estas IA como nuevos reclutas entusiastas pero poco confiables. Hoy en día, pueden cometer bromas relativamente inofensivas, pero el miedo es ¿Qué sucede cuando estos sistemas se vuelven más potentes y comienzan a operar en entornos críticos?. Si la IA que gestiona correos electrónicos o archivos ya está tomando decisiones sin previo aviso, nuestras preocupaciones aumentan cuando imaginamos sistemas similares funcionando en infraestructuras críticas, entornos militares o procesos industriales.

Las empresas de tecnología son conscientes del problema y afirman estar implementando múltiples capas de seguridad para evitar este tipo de comportamiento. Google, OpenAI o Anthropic insisten en que sus modelos contienen mecanismos de control y supervisión diseñados para reducir el riesgo. Aún así, el estudio sirve como recordatorio de algo muy humano: la confianza ciega en cualquier herramienta sofisticada (especialmente una que a veces reacciona con demasiada confianza) puede no ser la mejor idea. porque Si alguna vez has sentido que tu chatbot fue improvisado… puede que no estés tan equivocado..

Más información