Inicio > Noticias > Software

Software de Disney para sincronización automática de labios en tiempo real

Gianluigi Piludu 10/08/2017

Software de Disney para sincronización automática de labios en tiempo real

Presentado a SIGGRAPH 2017 en Los Angeles, este software utiliza una técnica muy realista y "creíble" para generar discursos animados en tiempo real.

La sincronización automática de labios en una caricatura, película animada o videojuego (llamada Lip Sync en inglés) no es una técnica nueva, pero Disney, junto con un grupo de investigadores de la Universidad de East Anglia (Inglaterra), Caltech y Carnegie La Universidad de Mellon ha agregado una pequeña y gran innovación: el aprendizaje profundo. Los investigadores están utilizando una técnica aún más refinada y precisa para generar discursos animados en tiempo real. Además de generar automáticamente la sincronización de labios para los actores de habla inglesa, el nuevo software se puede aplicar para hacer que el personaje animado cante o lo adapte para hablar idiomas extranjeros.

La animación realista del habla es fundamental para la animación de personajes eficaz ", dijo la investigadora Dra. Sarah Taylor, de la Facultad de Ciencias de la Información de la UEA." Si esto se hace mal, puede generar desorientación y conducir a un fracaso. en la taquilla de toda la película. Si se hace bien, requiere tiempos de procesamiento y costos excesivos por parte del animador. Nuestro objetivo es generar automáticamente un lenguaje animado de calidad para cualquier estilo de personaje, basado en un discurso dado por un archivo de audio ".

 

El equipo de investigadores ha diseñado un software que puede enseñarle a la computadora cómo interpretar las palabras pronunciadas por la voz de un actor, dar forma a la boca y luego animarla sincronizando el labio del personaje con la voz del actor.

El proceso requiere tanto el archivo de audio grabado como ocho horas de referencia de video de un solo orador que recita una colección de más de 2.500 oraciones con diferentes frases fonéticas.

El audio se transcribe en sonidos del habla (fonemas) utilizando un software de reconocimiento de voz disponible en el mercado. Estos fonemas se aplican luego a la cara de referencia, y estos resultados se pueden informar en cualquier personaje 3D, que por lo tanto puede hablar en tiempo real.

“Nuestra animación de voz automática, por lo tanto, funciona para cualquier estilo de expresión y también puede funcionar en otros idiomas”, dijo Taylor. "Nuestros resultados hasta ahora muestran que nuestro enfoque logra un rendimiento de vanguardia en la animación visual de voz. La verdadera belleza es que es muy simple de usar y fácil de editar y estilizar con un software de edición estándar".

Si bien sería fácil alterar la calidad de la tecnología basándose en estos primeros ejemplos, no es difícil imaginar cómo dentro de 10 o 20 años la sincronización automática de labios podría ser el estándar para la mayoría de los personajes generados por computadora. En su estado actual, la sincronización de labios en tiempo real podría desempeñar un papel invaluable para las aplicaciones de videojuegos, proyectos de animación basados ​​en la ubicación y series de televisión que requieren grandes volúmenes de animación con presupuestos modestos.

The Walt Disney Company no es la única productora que explora técnicas de animación automática y facial. Se dedicó una sección completa al tema más reciente SIGGRAPH 2017 , con las técnicas más innovadoras.

fuente: http://www.cartoonbrew.com/tech/disney-researchers-developing-new-method-automated-real-time-lip-sync-152737.html

<< Anterior