Banca en mantillas y el riesgo sistémico de la IA
El Banco Central Europeo ha decidido que los bancos europeos tengan hasta noviembre para blindarse ante el desarrollo de la inteligencia artificial. Todo indica que ese periodo de tiempo es algo insuficiente ya de inicio y que el ritmo de desarrollo de la IA es superior al que son capaces de imprimir los departamentos tecnológicos de las entidades para disponer de antídotos y protecciones suficientes. Estén en mantillas o no, el reto para la banca es mayúsculo, al considerarse un riesgo sistémico en ciernes. Lo de estar en mantillas (la ropa que envolvía a los recién nacidos antes de la era pañales) significa que el asunto está en sus inicios, en potencia, y el origen del término es adecuado ya que la situación apunta a cagalera por escaso desarrollo de contramedidas.
[–>[–>[–>El causante de tanto desasosiego es Anthropic, la firma estadounidense que anunció recientemente el desarrollo de Claude Mythos, un novedoso modelo de computación con capacidades de programación tan avanzadas que la empresa ha decidido vetar su lanzamiento inmediato al público general por considerarlo un riesgo para la ciberseguridad global. Entre las empresas que pueden acceder al programa se encuentran Amazon, Apple, Google, Microsoft, Nvidia, CrowdStrike, JPMorgan Chase, Cisco, Broadcom, Palo Alto Networks y la Linux Foundation. El objetivo es que estos gigantes utilicen la potencia de Mythos para identificar y parchear vulnerabilidades en la infraestructura crítica de ‘software’ que disponen antes de que actores malintencionados puedan explotarlas.
[–> [–>[–>El caso es que si el propio desarrollador reconoce el peligro de lo que hace, da la sensación de que el riesgo sistémico existe y que poner de plazo hasta noviembre no tiende a tranquilizar. No cuesta imaginarse a ejércitos de cerebrines destripando ya el programa Mithos o desarrollando otros programas para desvalijar a cualquiera que confíe en exceso en la seguridad de su cuenta bancaria.
[–>[–>[–>
Los miedos no son infundados, ante tanto aviso y prevención institucional, aunque los bancos tienen capacidad para afrontar el reto que se les ha puesto. El BCE insta a las entidades a que sus programas de gestión no tengan errores y que dispongan de seguridad desde su etapa de diseño. A juzgar por las habituales actualizaciones de los programas bancarios, los errores deben ser abundantes aunque no muchos son dramáticos. En el desarrollo de ‘software’ se aplicó en los últimos años la máxima lanza primero mejora después, algo que la IA impedirá en el futuro.
[–>[–>[–>Lo más preocupante se esconde tras la palabra ‘vulnerabilidad’. El BCE la utiliza cuando insta a los bancos a reforzar la vigilancia para detectar intrusiones y ataques informáticos, ser capaces de desconectarse de la red de manera rápida y minimizar daños ante un ciberataque. Cómo será la situación que hace ya meses que EEUU ha entrado en el asunto y dado órdenes de protección, especialmente en el campo militar. Anthropic intenta mantener restricciones para impedir que su modelo de IA sea utilizado por cualquiera, incluida la Administración, por ejemplo en la vigilancia masiva de ciudadanos estadounidenses o en armas totalmente autónomas.
[–>[–>[–>
Pero la supervisión de una herramienta de inteligencia artificial sofisticada no es fácil. Reconocen los creadores de aplicaciones basadas en inteligencia artificial generativa que saben lo que hacen, pero que es el propio sistema creado el que desarrolla por su cuenta sus procesos y llega un punto en que no es controlable el destino final de su trabajo. De hecho, el propio programa Mithos, con los mimbres lógicos suministrados, es capaz de desarrollar pasos inesperados. Así, la inteligencia artificial empieza a lograr ser menos cartesiana y puede llegar a ser hasta ‘creativa’.
[–>[–>
[–>Para los que quieran aventurarse en la IA sin intermediarios, un estudio publica esta semana colorines sobre blanco los procesos en los que se basa la IA para llegar a conclusiones. Aquí, el estudio. Explica que el propio sistema Claude de Anthropic ha creado un espacio interno inesperado (detectado mediante la técnica de análisis matemático bautizada como lente jacobiana), formado por patrones neuronales, que el modelo puede activar para representar conceptos antes de escribirlos o incluso sin que aparezcan en la respuesta final, un mecanismo ‘consciente’ inventado por el propio ‘software’, que los expertos describen como «procesos de pensamiento de un modelo, descubriendo razonamientos y reacciones internas que no aparecen en su salida». Abruma a los neófitos el asunto, pero su lectura invita a la prudencia intelectual sobre la IA, como mínimo.
[–>[–>[–>
Los modelos de lenguaje natural (MLN) como Mithos poseen representaciones similares a espacios de trabajo. Estas representaciones consisten en un pequeño conjunto evolutivo de palabras no verbales, que no son meros ecos de la entrada ni predicciones del siguiente elemento lógico, y que expresan los conceptos con los que el modelo está razonando. «La lente jacobiana suele revelar conceptos altamente abstractos, que no representan ni la entrada original ni la salida prevista, sino evaluaciones intermedias que el modelo ha generado y puesto a disposición de sus circuitos posteriores», explica el estudio. Concluye que «las implicaciones prácticas son de gran alcance, ya que el espacio de trabajo ofrece una ventana a través de la cual leer, analizar y moldear el pensamiento de los modelos». Pero el asunto de la ciberseguridad se intuye que está todavía en mantillas.
[–>[–>[–>
Puedes consultar la fuente de este artículo aquí