Tecnologia da NVIDIA transforma qualquer vídeo em câmera lenta

Tecnologia da NVIDIA transforma qualquer vídeo em câmera lenta 4
A NVIDIA mostrou uma tecnologia capaz de transformar qualquer vídeo em câmera lenta. Tudo isso por conta da Inteligência Artificial e do Deep Learming.

Pesquisadores da NVIDIA desenvolveram uma forma de converter vídeos em velocidade normal capturados a 30fps em slow-motion com até 480 fps. Além disso, o estudo é resultado da colaboração com cientistas da Universidade de Massachusetts e da Universidade da Califórnia. 

Para alcançar tal resultado os envolvidos desenvolveram um sistema de deep-learnin. Está é uma técnica de interpolação para prever quadros extras que serão adicionados ao vídeo. A inclusão de quadros extras é essencial para gerar o resultado impressionante entregue pela tecnologia. Isso porque é necessário adicionar imagens extras para preencher a lacuna da captação inicial de somente 30 fps.

Super slow-motion de forma inteligente

“Existem muitos momentos memoráveis na sua vida que você pode querer gravar com uma câmera em slow-motion porque eles são difíceis de ver claramente com seus olhos: a primeira vez que um bebê anda, um difícil truque de skate, um cachorro pegando a bola. Enquanto é possível gravar vídeos de 240 quadros por segundo com um celular, gravar tudo em altas taxas de quadro é imprático, pois requer grandes memórias e gasta muita bateria de dispositivos móveis”, diz o comunicado oficial da equipe de pesquisa da NVIDIA

Em relação ao seu funcionamento, a tecnologia é baseada em uma rede neural convolucional (CNN). Essa tecnologia estima o fluxo óptico e o padrão de movimento dos objetos e superfícies. Posteriormente, esse algoritmo de inteligência artificial é capaz de prever como os pixels se moverão de um quadro atual para o próximo quadro. Isso gera o que é chamado de “campo de fluxo”, um vetor 2D de movimento previsto que se funde para aproximar um campo de fluxo ao quadro intermediário.

Para treinar a inteligência artificial a NVIDIA utilizou 11.000 vídeos de atividades diárias e esportivas filmadas em 240 fps. Foram utilizadas placas de vídeo NVIDIA Tesla V100 com o framework PyTorch. 

 

Tecnologia da NVIDIA transforma qualquer vídeo em câmera lenta 5

Após o treinamento, a IA foi capaz de prever os quadros extras que precisariam ser criados para desacelerar o vídeo.

Entretanto, infelizmente, essa tecnologia impressionante deve demorar um bom tempo até chegar ao mercado. Ela não é otimizada e fazê-la funcionar em tempo real é muito complexo atualmente . Os pesquisadores acreditam que ela será lançada ao público no momento certo. Assim, ela estará presente em dispositivos e aplicativos que se beneficiam do processo através da nuvem.

Fonte: Venture Beat

Receba Notícias por E-mail:

Quer receber notícias no seu e-mail?
Holler Box
Share via