El desarrollador de AI LLM compatible con AMD bromea sobre la escasez de GPU de Nvidia

El cofundador y director ejecutivo de Lamini, una startup de modelos de lenguaje grande (LLM) de inteligencia artificial (IA), publicó un video en Twitter/X. burlarse a la actual escasez de GPU Nvidia. El jefe de Lamini está bastante satisfecho en este momento, y eso parece deberse en gran medida al hecho de que el LLM de la compañía se ejecuta exclusivamente en arquitecturas de GPU AMD disponibles. Además, la compañía afirma que las GPU AMD que utilizan ROCm han logrado "paridad de software" con la plataforma Nvidia CUDA, anteriormente dominante.

Ver más

El video muestra a Sharon Zhou, directora ejecutiva de Lamini, revisando un horno para GPU aceleradoras AI LLM. Primero se aventura en una cocina, aparentemente similar a la famosa coquina californiana de Jensen Huang, pero después de revisar el horno, descubre que hay "un retraso de 52 semanas: no está lista". Frustrado, Zhou revisa la parrilla en el patio y hay una GPU AMD Instinct recién asada lista para ser tomada.

(Crédito de la imagen: Lamini)

No conocemos las razones técnicas por las que las GPU de Nvidia requieren una cocción prolongada en el horno, mientras que las GPU de AMD se pueden preparar en una parrilla. Esperemos que nuestros lectores puedan arrojar algo de luz sobre este enigma de los semiconductores en los comentarios.

En serio, si miramos más de cerca a Lamini, la startup líder en LLM, podemos ver que esto no es una broma. CRN proporcionó el martes cobertura general de la startup con sede en Palo Alto, California. Algunas de las cosas importantes mencionadas en la cobertura incluyen el hecho de que la directora ejecutiva de Lamini, Sharon Zhou, es una experta en aprendizaje automático y que el director de tecnología, Greg Diamos, es un ex arquitecto de software Nvidia CUDA.

Aceleración Lamini LLM

(Crédito de la imagen: Lamini)

Resulta que Lamini ha estado ejecutando "en secreto" LLM en GPU AMD Instinct durante el año pasado, y varias empresas se beneficiaron de LLM privados durante el período de prueba. Probablemente el cliente de Lamini más notable es AMD, que "implementó Lamini en nuestro clúster interno de Kubernetes con GPU AMD Instinct y utiliza ajustes para crear modelos entrenados en el código base de AMD en múltiples componentes para tareas de desarrollo específicas".

Una afirmación clave muy interesante de Lamini es que solo necesita “3 líneas de código” para ejecutar LLM listos para producción en GPU AMD Instinct. Además, Lamini tendría la principal ventaja de funcionar con GPU AMD disponibles. El CTO Diamos también afirma que el rendimiento de Lamini no se ve eclipsado por las soluciones de Nvidia, ya que AMD ROCm ha logrado "paridad de software" con Nvidia CUDA para LLM.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir