La transmisión estable se ejecuta en solo 260 MB de RAM en Raspberry Pi

Stable Diffusion es una aplicación de formación profundo que crea imágenes a partir de indicaciones de texto. Osado en 2022, requiere considerablemente más poder de enumeración que un Raspberry Pi, un Raspberry Pi Zero de 2 W que usa solo 260 MB de RAM.

Es una correr impresionante, en gran parte porque la Raspberry Pi Zero de 2 W es conocida por su diseño compacto más que por su rendimiento informático. Pero no solo es físicamente pequeño, tiene limitaciones de hardware que limitan su rendimiento. En este caso, el Pi Zero 2 W solo tiene 512 MB de RAM. Stable Diffusion prefiere al menos 8 GB de RAM para un rendimiento espléndido.

Plantamura pudo hacer este trabajo al desarrollar lo que él fogosidad OnnxStream. Esta es una estante de inferencia especialmente diseñada para disminuir el consumo de memoria para poder originar imágenes en una Raspberry Pi Zero 2W ¿Es práctico? No se ve exactamente, ya que lleva mucho más tiempo crear imágenes. Las imágenes creadas con un decodificador VAE con precisión W8A8 pueden tardar tres horas en generarse. Sin retención, funciona y es asaz impresionante en ese sentido. Según Plantamura, OnnxStream consume 55 veces menos memoria que OnnxRuntime, pero como mucho es el doble de gradual.

pastel de frambuesa

Esta imagen fue creada en una Raspberry Pi Zero 2. (Crédito de la imagen: Vito Plantamura)

OnnxStream tiene muchas características efectos para aquellos que buscan crear con la utensilio. Algunos ejemplos incluyen el corte de atención, la cuantificación dinámica y estática, la compatibilidad con FP16 e incluso un motor de inferencia desacoplado de WeightsProvider. Puede encontrar una inventario completa de funciones en la página oficial del tesina.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir