Diversos

Aprendizagem profunda permite sincronização labial precisa em tempo real para animação 2D ao vivo

Aprendizagem profunda permite sincronização labial precisa em tempo real para animação 2D ao vivo


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Dois pesquisadores da Adobe Research e da University of Washington introduziram um sistema interativo baseado em aprendizado profundo que pega performances ao vivo de atores e gera sincronização labial em tempo real para personagens animados em 2-D.

O sistema permite uma experiência de animação diferente, onde o público e os atores podem interagir uns com os outros enquanto veem seus doppelgangers em uma tela.

RELACIONADO: O ARTISTA 3D CRIA ANIMAÇÃO INCRÍVEL COMPARANDO OS TAMANHOS DA LUA E DO PLANETA EM NOSSO SISTEMA SOLAR

O que é animação 2D ao vivo?

Em 1997, no episódio dos Simpsons “The Itchy & Scratchy & Poochie Show”, Homer Simpson perguntou a uma sala de animadores de desenho animado se um episódio que eles criaram estava indo ao ar ao vivo.

Um dublador respondeu brincando: “muito poucos desenhos animados são transmitidos ao vivo. É uma tensão terrível nos pulsos dos animadores. ”

Parece que Homer foi uma visão profética, pois em 2019, a animação 2D ao vivo é um novo meio poderoso pelo qual os atores podem representar uma cena que será animada ao mesmo tempo na tela.

O primeiro desenho animado ao vivo, um episódio de Os Simpsons, foi ao ar em 2016. Um exemplo recente do meio viu Stephen Colbert entrevistando convidados dos desenhos animados, incluindo Donal Trump, no Late Show.

Outro viu o personagem principal de Archer conversando com um público ao vivo e respondendo a perguntas durante um painel de evento da ComicCon.

A técnica de animação ao vivo usa software de detecção facial, câmeras, equipamento de gravação e técnicas de animação digital para criar uma animação ao vivo que é executada junto com uma cena real representada.

O aprendizado de máquina está permitindo que tudo isso seja executado de forma ainda mais suave e continue melhorando.

Sincronização labial ao vivo

Um aspecto fundamental da animação 2D ao vivo é a boa sincronização labial. Ele permite que as bocas dos personagens animados se movam apropriadamente quando falam e espelham as performances de atores humanos.

A sincronização labial deficiente, por outro lado, como uma dublagem em linguagem imprópria, pode fazer ou quebrar a técnica, arruinando a imersão.

Em um artigo que foi pré-publicado no arXiv, os dois pesquisadores da Adobe Research e da University of Washington apresentaram seu sistema interativo baseado em aprendizagem profunda que gera automaticamente sincronização labial ao vivo para personagens animados em 2-D em camadas.

O sistema de rede neural que desenvolveram usa um modelo de memória de longa curta duração (LSTM).

Como Techexplore relatórios, o modelo LSTM de Li e Aneja mostrou resultados tão impressionantes que a Adobe decidiu integrar uma versão dele em seu software Adobe Character Animator, lançado em 2018.

O sistema pode ser usado para reduzir drasticamente os requisitos de dados de treinamento para modelos projetados para produzir sincronização labial em tempo real. Ao mesmo tempo, fornece sincronização labial eficaz que não está muito longe da animação tradicional - permitindo que a animação 2D ganhe vida como nunca antes.


Assista o vídeo: Família de Gatos - Médico das Crianças Desenho Animado em Português Brasil (Junho 2022).


Comentários:

  1. Tor

    Que sorte rara! Que felicidade!

  2. Bradshaw

    Encontre errado?

  3. Yarema

    Para não dizer que ele é maior.

  4. Scandleah

    Frase brilhante

  5. Eston

    Eu ofereço a você a visita ao site, onde há muitas informações sobre o tema de seu interesse.

  6. Banner

    Esta valiosa mensagem



Escreve uma mensagem