Revisión de Nvidia VSR: mejora y mejora de AI para video

Nvidia Video Super Resolution - Nvidia VSR - está oficialmente disponible para el público hoy. Mostrado por primera vez en CES 2023, y no debe confundirse con VSR (Virtual Super Resolution) de AMD, Nvidia VSR tiene como objetivo hacer para el video lo que su tecnología DLSS hace para los juegos. Especie de. Necesitará una de las mejores tarjetas gráficas de Nvidia para comenzar, es decir, una GPU RTX 30 o 40. Por supuesto, también querrá establecer sus expectativas de manera adecuada: la imagen principal aquí arriba, por ejemplo, es falsa y exagerada y en absoluto representante de VSR.

A estas alturas, todos deberían estar familiarizados con algo de lo que pueden lograr los modelos de inteligencia artificial y aprendizaje profundo. Ya sea generando arte de texto a imagen con Stable Diffusion, etc., ChatGPT respondiendo preguntas y escribiendo artículos, autos sin conductor o muchas otras posibilidades, la IA ahora forma parte de nuestra vida diaria.

El resumen básico del algoritmo debería resultarle familiar a cualquiera que esté familiarizado con DLSS. Tome un grupo de cuadros emparejados, cada par con una resolución más baja, una versión de tasa de bits más baja de un cuadro de video de resolución más alta (y calidad más alta), y ejecútelos a través de un algoritmo de aprendizaje profundo para aprender la red cómo mejorar e idealmente mejorar la entrada de baja calidad imágenes en resultados de mejor aspecto. Por supuesto, hay muchas diferencias entre VSR y DLSS.

Por un lado, DLSS obtiene datos directamente del motor del juego, incluido el cuadro actual, los vectores de movimiento y los búferes de profundidad. Combinado con fotogramas anteriores y red de IA entrenada para generar fotogramas escalados y suavizados. Con VSR, no hay búferes de profundidad calculados previamente ni vectores de movimiento de los que hablar, por lo que todo debe hacerse basándose únicamente en los cuadros de video. Entonces, aunque en teoría VSR podría usar datos de cuadros actuales y anteriores, parece que Nvidia optó por un enfoque de escala espacial pura. Pero independientemente de los detalles exactos, hablemos de cómo se ve.

Flujo de trabajo de Nvidia VSR

(Crédito de la imagen: Nvidia)

Nvidia ha proporcionado un video de muestra que muestra el antes y el después del lanzamiento de VSR. Si desea los originales, aquí está la mejora de 1080p a través de una fuente de muestra bilineal y la versión de mejora de 4K VSR, alojada en una cuenta personal de Drive, así que veremos cómo va. (Envíeme un correo electrónico si no puede descargar los videos debido a que excedió el límite de ancho de banda).

Solucionaremos posibles problemas de derechos de autor y no incluiremos un montón de nuestros propios videos, aunque hemos tomado algunas capturas de pantalla de la salida resultante de algunas transmisiones deportivas para mostrar cómo funciona en otro contenido. Lo que podemos decir es que los videos lentos (como las muestras de Nvidia) brindan los mejores resultados, mientras que las cosas más rápidas, como los deportes, son más difíciles, ya que los cambios de cuadro a cuadro pueden ser bastante grandes. . Pero en general, VSR funciona bastante bien. Aquí hay una galería de capturas de pantalla de comparación (capturadas a través de Nvidia ShadowPlay).

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir