Hay muchas formas de acelerar las cargas de trabajo de IA a nivel de hardware. No hay duda de que la gran estrella hoy en día es la GPU, pero Intel y AMD están buscando la manera de Haz que tu CPU sea más eficiente Ciertas cargas de trabajo relacionadas con la inteligencia artificial.

Ya sé lo que estás pensando, para eso tenemos NPU, tienes razón, pero en este caso lo que quieren Intel y AMD es que se dé la aceleración. dentro del propio procesador. Para lograrlo, ambas empresas crearon ACE (abreviatura de «Advanced Computing Extensions»), una especificación diseñada para ir más allá de las limitaciones de AVX10.

Es importante recordar que las instrucciones AVX no se crearon para realizar cargas de trabajo de multiplicación de matrices, que son la base de la IA, pero se han convertido en un puente hacia la introducción de ACE debido al estándar. Mantenga la estructura de registros de AVX10 y agregue hardware especializado Resolver operaciones matriciales.

Esto evita obligar a los desarrolladores a utilizar formatos de datos o modelos de programación completamente nuevos porque La extensión seguirá usando entrada de 512 bits.de esta manera se reducirán al mínimo los cambios necesarios para la adopción y uso a gran escala de este nuevo estándar.

En cuanto a mejoras de rendimiento, a nivel de instrucción tenemos que utilizar un conjunto determinado de vectores de entrada. La cantidad de operaciones que puede realizar ACE es 16 veces mayor que la de AVX10. La diferencia es enorme, pero es importante recordar que los resultados finales pueden variar según cada escenario y cada prueba.

Otra cosa interesante sobre ACE es lo que significa en términos de eficiencia. No alcanzará los niveles de rendimiento de las GPU de próxima generación, pero Por otro lado, su consumo energético es mucho menor, Esto hace que el estándar sea viable e interesante para cargas de trabajo de IA de vanguardia y también satisface las necesidades de los usuarios individuales.

El nuevo estándar se puede implementar de manera independiente, lo que permitirá una mayor coherencia y admitirá múltiples tipos de operaciones, entre ellas: INT8, INT32, FP8, FP16, FP32 y BF16. También proporcionará soporte nativo para formatos de bloques de escala MX de Open Compute Project, que no son compatibles con AVX10, lo que significa una gran versatilidad.

Si tenemos NPU, ¿por qué usar ACE? Bueno, es simple porque ACE es una opción más simple y eficiente ideal para computación heterogéneay evitar todas las complicaciones que puedan surgir al tener que descargar ciertas cargas de trabajo a la NPU. Estas cargas se pueden descargar directamente a la CPU, haciéndola más sencilla y eficiente.