Nvidia envía los primeros puntos de relato del superchip de CPU Grace Hopper a MLPerf

Nvidia anunció hoy que ha presentado sus primeros resultados comparativos para su superchip Grace Hopper CPU+GPU y sus aceleradores GPU L4 a la última versión de MLPerf, un punto de referencia de IA estándar de la industria diseñado para proporcionar reglas del juego justas para medir el rendimiento de la IA en diferentes cargas de trabajo. El conjunto de resultados de referencia de hoy marca dos novedades notables para el punto de referencia MLPerf: la adición de un nuevo punto de referencia de inferencia GPT-J para el modelo de lenguaje grande (LLM) y un modelo de recomendación renovado. Nvidia afirma que Grace Hopper Superchip ofrece un rendimiento de inferencia hasta un 17 % mejor que una de sus GPU H100 líderes del mercado en el punto de referencia GPT-J y que sus GPU L4 ofrecen hasta 6 veces el rendimiento de los procesadores Intel Xeon.

La industria está evolucionando a una velocidad vertiginosa a medida que avanza rápidamente hacia nuevos modelos de IA e implementaciones más poderosas. En la misma línea, el punto de referencia MLPerf, administrado por la organización MLCommons, está en constante evolución para reflejar mejor la naturaleza cambiante del panorama de la IA con su nueva revisión v3.1.

GPT-J 6B, un modelo de resumen de texto utilizado en cargas de trabajo del mundo real desde 2021, ahora se utiliza en la suite MLPerf como punto de referencia para medir el rendimiento de la inferencia. El GPT-J LLM de 6 mil millones de parámetros es bastante liviano en comparación con algunos de los modelos de IA más avanzados, como el GPT-3 de 175 mil millones de parámetros, pero cumple bien la función de referencia de inferencia. Este modelo resume bloques de texto y funciona tanto en modo en línea, que es sensible a la latencia, como en modo fuera de línea, que requiere un rendimiento intensivo. La suite MLPerf ahora también utiliza un modelo de recomendación DLRM-DCNv2 más grande con el doble de parámetros, un conjunto de datos multi-caliente más grande y un algoritmo multicapa que representa mejor los entornos del mundo real.

En este contexto, podemos ver algo del desempeño de Nvidia aquí. Tenga en cuenta que la propia Nvidia envía estos puntos de referencia a MLCommons, por lo que probablemente representen los mejores escenarios altamente optimizados. A Nvidia también le gusta señalar que es la única empresa que presenta puntos de referencia para cada modelo de IA utilizado en la suite MLPerf, lo cual es una afirmación objetivamente cierta. Algunas empresas están completamente ausentes, como AMD, o sólo presentan algunos puntos de referencia seleccionados, como Intel con Habana y Google con su TPU. Las razones de la falta de presentaciones varían entre empresas, pero sería bueno ver a más competidores ingresar al círculo de MLPerf.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir