TurboQuant es una nueva propuesta de Google que pretende solucionar uno de los problemas más importantes de la inteligencia artificial actual: Se requiere un enorme consumo de memoria para los modelos de lenguaje Cuando se trabaja con grandes cantidades de texto. A medida que estos sistemas procesan conversaciones más largas, documentos extensos o tareas complejas, la cantidad de memoria necesaria para mantener el contexto crece rápidamente, lo que aumenta los costos de ejecución y requiere hardware cada vez más potente.

Ante esta situación, Google lanzó TurboQuant, Tecnología de compresión diseñada para reducir drásticamente la memoria utilizada por los modelos de inteligencia artificial en el proceso de razonamiento. Según la empresa, el sistema puede reducir el tamaño de la memoria temporal utilizada por un modelo al menos seis veces sin necesidad de volver a entrenar el modelo ni provocar una pérdida notable en la precisión de los resultados.

El problema que TurboQuant intenta resolver Está relacionado con el llamado caché KV.una memoria interna que los modelos de lenguaje utilizan para recordar señales de atención y valores generados durante el procesamiento de texto. Gracias a esta memoria de trabajo, el modelo no necesita recalcular todo desde cero cada vez que genera una nueva palabra. Sin embargo, a medida que el contexto crece, esta «memoria de conversación» puede ocupar una porción muy importante de la GPU y convertirse en uno de los principales cuellos de botella.

La propuesta de Google incluye Aplicar una cuantificación extremadamente agresiva a estos datos.. TurboQuant permite Comprime la caché KV a solo 3 bits por valormuy por debajo de los 32 bits que se suelen utilizar para las representaciones tradicionales. Este proceso reduce significativamente el espacio necesario para almacenar esta información y, según los resultados publicados por la empresa, puede incluso acelerar los cálculos de atención ocho veces en comparación con las claves no cuantificadas de las GPU Nvidia H100.

Para lograr este objetivo, TurboQuant combina dos tecnologías principales. El primero, denominado PolarQuant, reorganiza los vectores que componen la memoria del modelo y los representa mediante coordenadas polares, lo que facilita su compresión. El segundo es QJL, un sistema de corrección de errores de un solo bit que compensa el pequeño sesgo introducido por la cuantificación y evita que el modelo pierda precisión al calcular qué partes del contexto son más relevantes.

Google probó el sistema en diferentes benchmarks diseñados para evaluar modelos con contextos largos, como LongBench, Needle In A Haystack, ZeroSCROLLS, RULER o L-Eval, y utilizando modelos abiertos como Gemma y Mistral. Según la empresa, TurboQuant mantiene Los resultados son casi idénticos a los del modelo original y reducen significativamente el uso de memoria..

Más allá de las cifras específicas, el impacto potencial de TurboQuant también aporta claridad a la industria. Si los modelos de IA pudieran funcionar con menos memoria, El mismo hardware podrá ejecutar más cargas de trabajo o manejar modelos más grandes.. Esto no significa que cualquier computadora doméstica pueda ejecutar sistemas masivos día tras día, pero sí sugiere que implementar inteligencia artificial avanzada en el futuro puede requerir menos recursos de los que parecen necesarios hoy.

Más información