AWS utiliza Habana Gaudi de Intel para modelos de idioma grandes

Si proporcionadamente Habana Gaudi de Intel ofrece un rendimiento un tanto competitivo y viene con el paquete de software Habana SynapseAI, aún se queda corto en comparación con las GPU de cuenta habilitadas para CUDA de Nvidia. Esto, unido con la disponibilidad limitada, es la razón por la que Gaudi no ha sido tan popular para los modelos de idioma extenso (LLM) como ChatGPT.

Ahora que la fiebre de la IA está en marcha, Habana de Intel está experimentando despliegues más amplios. Amazon Web Services decidió probar Gaudi 1st Generation de Intel con PyTorch y DeepSpeed ​​​​para capacitar a los LLM, y los resultados fueron lo suficientemente prometedores como para ofrecer instancias DL1 EC2 comercialmente.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir