Este algoritmo crea videos realistas a partir de una sola foto.

Investigadores de la Universidad de Washington han desarrollado un método de aprendizaje profundo que solo necesita una foto para hacer un video creíble. Si tienes una foto de una cascada, un río, humo o nubes, predice el fotograma anterior y el siguiente y crea una animación bastante interesante.

El equipo describió su método en un documento y lo presentará en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones el 22 de junio. Aleksander Hołyński es un estudiante de doctorado en la Escuela de Ingeniería e Informática Paul G. Allen y el autor principal del artículo, y habló un poco sobre el proyecto para UW News.

“Lo que tiene de especial nuestro método es que no requiere ninguna entrada del usuario o información adicional”, dijo Hołyński. “Todo lo que necesitas es una foto. Y produce como salida un video de alta resolución que se repite sin interrupciones y que a menudo parece un video real “. Este es uno de los ejemplos con los que terminó el equipo:

Créditos: Sarah McQuate / Universidad de Washington

Como probablemente sepa, este no es el primer programa que convierte una foto en un video o un cinemagraph. Puede hacerlo usted mismo en Photoshop, Premiere Pro y After Effects. También ha habido complementos de Photoshop como Artymate u otros algoritmos predictivos que aún están lejos de ser perfectos. La clave es hacer que el video final sea creíble, y existen muchos desafíos para hacerlo bien.

Hołyński explica que convertir una foto en un video requiere el algoritmo para predecir el futuro. “Y en el mundo real, hay posibilidades casi infinitas de lo que podría suceder a continuación”, agrega. Entonces, él y su equipo entrenaron una red neuronal con miles de videos de cascadas, ríos, océanos y otro material con movimiento fluido. Primero le pedirían a la red que prediga el movimiento de un video solo por el primer cuadro. Luego, compararía su predicción con el video real, lo que lo ayudó a aprender a identificar pistas que le digan lo que sucedería a continuación (como ondas en una transmisión, por ejemplo).

Los investigadores intentaron utilizar “salpicaduras”, una técnica que mueve cada píxel de acuerdo con su movimiento predicho. Sin embargo, planteó otro conjunto de desafíos. “Piense en una cascada que fluye”, dijo Hołyński a UW News. “Si mueves los píxeles por la cascada, después de algunos fotogramas del video, ¡no tendrás píxeles en la parte superior!” Así que tuvieron que encontrar una solución para esto, y lo llamaron “salpicadura simétrica”. No solo predice el futuro, sino también “el pasado” de una imagen, creando una animación perfecta.

Por ahora, el algoritmo funciona mejor con materiales fluidos, como ríos, cascadas, humo o nubes. Esencialmente cualquier cosa que tenga un movimiento fluido y predecible. Pero en el futuro, al equipo le gustaría ampliar sus posibilidades y animar otras cosas, por ejemplo, el pelo de alguien al viento.

[via UW News]

Botón volver arriba