이모 아야 - 오드리 햅번.

EMO AI: 인공지능이 사람들을 사진으로 노래하게 만든다

주앙 루카스 바티스타 아바타
알리바바 그룹이 개발한 새로운 AI는 사진을 통해 노래하는 사람들의 영상을 현실감 있게 생성해 놀라움을 선사합니다. 예시 보기

새로 출시된 이모 AI, 그룹의 인공지능 Alibaba, 인터넷에서 큰 반향을 일으켰습니다. 이 도구는 사진으로 비디오를 제작하여 아바타가 놀랍도록 현실감 있게 다양한 언어로 노래를 부르게 합니다.

이 AI 세그먼트는 지난 몇 년 동안 상당한 발전을 이루었습니다. 이전에는 사진 편집 기능이 있었는데, 앱을 통해 누군가와 얼굴을 바꾸고, 필터를 추가하고, 기타 기능을 사용할 수 있게 되었습니다. 이제 비디오 속 액션 시뮬레이션은 주로 이러한 콘텐츠에 적용된 사실성으로 인해 인터넷 사용자들에게 큰 관심을 불러일으켰습니다.

EMO AI란 무엇인가요?

Emo ai: 인공지능은 사람들이 사진을 보고 노래를 부르게 만듭니다. 알리바바 그룹이 개발한 새로운 AI는 사진을 통해 노래하는 사람들의 영상을 현실감 있게 생성해 놀라움을 선사합니다. 예시 보기
EMO AI가 작동하는 방식. 이미지: 재생산/EMO: Emote Portrait Alive

A EMO AI: 살아있는 감정 표현 초상화 초현실적인 오디오 및 비디오 또는 이미지의 보급을 통해 시청각 콘텐츠를 제작하기 위한 도구입니다.

A IA 사진에서 상상할 수 있는 상황에서 모델의 얼굴 특징을 정확하고 충실하게 시뮬레이션하는 데 중점을 둡니다. 인물의 사진을 바탕으로 캐릭터가 입술과 얼굴 근육을 움직이며 인기가요를 부르고, 사실적인 포즈로 가사를 정확하게 발음하는 뮤직비디오 제작이 가능하다.

개발자에 따르면 지능형 컴퓨팅 연구소, 그룹에서 Alibaba, 님이 제작한 동영상 이모 AI 비디오 제작에 삽입된 오디오 파일의 크기에 따라서만 길이가 달라질 수 있습니다.

AI는 어떻게 작동합니까?

전문가들이 사용하는 방법론을 바탕으로 EMO 인공지능이 생성한 영상을 제작하기 위한 기반이 되는 이미지만 있으면 된다. 그런 다음 오디오 파일이 지속되는 동안 도구가 캐릭터의 해석으로 비디오를 생성하고 입술 움직임을 가사와 동기화하고 사람에 애니메이션을 적용할 수 있도록 오디오 파일을 삽입해야 합니다.

아래 EMO AI를 사용한 동영상을 참조하세요.

AI 영상제작에 EMO AI를 활용한 사례. 비디오: YouTube/AI Drop

위의 비디오는 애니메이션 그림을 사용하여 AI 시뮬레이션 장면을 만듭니다. 영형 이모 AI 그는 또한 캐릭터의 얼굴과 입술의 움직임을 설득력 있게 만족스럽게 만들어냈습니다.

EMO AI 도구 구조

개발에 사용된 방법론 이모 AI AI가 만든 영상의 품질 향상을 추구하는 목적에 정확하게 적용되었습니다. 연구진은 결과의 품질을 높일 수 있는 대안을 찾는 것을 목표로 삼았습니다.

이 때문에 프로세스의 초기 단계에서는 프레임 인코딩, 신경망이라고 불리는 레퍼런스넷 모션 프레임을 시뮬레이션하여 단일 참조 이미지에서 특징을 추출합니다. 이 인코딩 프로세스는 비디오의 기초를 마련합니다.

그런 다음 인코더의 도움으로 오디오가 통합되고 얼굴 마스크가 적용되어 사실적인 얼굴 움직임이 가능해집니다. 프로세스 완료, 메커니즘 백본 네트워크 캐릭터의 정체성을 유지하고 얼굴 움직임의 속도를 조절하는 역할을 담당합니다.

Emo ai: 인공지능은 사람들이 사진을 보고 노래를 부르게 만듭니다. 알리바바 그룹이 개발한 새로운 AI는 사진을 통해 노래하는 사람들의 영상을 현실감 있게 생성해 놀라움을 선사합니다. 예시 보기
EMO AI를 활용한 콘텐츠 제작 단계. 이미지: 재생산/EMO: Emote Portrait Alive

혁신적인 프로세스에도 불구하고 Alibaba 개발자들은 과학 기사에서 모델의 한계를 발견했다고 보고합니다. 그들은 다음과 같이 언급했습니다. 이모 AI 동일한 세그먼트의 다른 AI보다 콘텐츠를 생성하는 데 시간이 더 걸리고 경우에 따라 캐릭터의 손과 같은 신체의 다른 부분이 비디오에 나타날 수 있습니다.

행동을 시뮬레이션하는 AI 검색

휴대폰의 기존 운영 체제와 AI의 호환성이 높아짐에 따라 최근 몇 년 동안 이러한 도구에 대한 검색이 급증했습니다. 현재 사용자의 얼굴을 유명인으로 변경하고, 젊어지게 하고, 얼굴 표정을 교정하는 등 다양한 애플리케이션 옵션을 찾을 수 있습니다.

이러한 가능성 중에서, 딥 페이크, 이는 AI를 이용한 얼굴 매칭 또는 교체의 결과입니다. 이 리소스는 유머, 정치적, 포르노 등 다양한 목적으로 사용될 수 있습니다. 정치와 관련해 브라질에서는 TSE는 이 문제에 대한 경고를 켰습니다., 이미 사용을 예상하고 있습니다. 딥 페이크 올해 10월 선거에서.

이 경우, 딥 페이크 한 접시 가득이에요 가짜 뉴스, 그들은 일반적으로 후보자를 거짓말하는 상황으로 묘사하거나 정치적 이해관계에 의해 동기를 부여받은 적이 없는 논란의 여지가 있는 연설을 시뮬레이션하기 때문입니다.

Emo ai: 인공지능은 사람들이 사진을 보고 노래를 부르게 만듭니다. 알리바바 그룹이 개발한 새로운 AI는 사진을 통해 노래하는 사람들의 영상을 현실감 있게 생성해 놀라움을 선사합니다. 예시 보기
사용 딥 페이크 왼쪽 소년의 얼굴을 미국 배우 톰 크루즈로 바꾸려고요. 이미지: 재생산

EMO AI는 여러 언어로 표현을 생성합니다.

AI가 극복한 또 다른 장벽은 다음과 같습니다. 이모 AI, 다양한 언어로 비디오를 제작하는 것입니다. 이러한 기술은 다양한 언어, 단어의 소리 및 발음을 이해합니다. 이를 통해 다양한 언어로 시청각 콘텐츠를 제작하는 것이 가능합니다.

AI가 만든 여성이 중국어로 노래하는 모습. 재생산/EMO: 감정 표현 초상화 살아있는

아래에서 EMO AI가 생성한 더 많은 비디오를 확인하세요.

EMO에 사용된 영화 프레임을 기반으로 한 캐릭터 조커(Joker, 2019). 비디오: 재생산/EMO: Emote Portrait Alive
배우 레오나르도 디카프리오(Leonardo DiCaprio)가 인공지능(AI)을 이용해 에미넴(Eminem)을 부르는 모습. 재현: EMO: Emote Portrait Alive

출처 : NowadAls, Arxiv, 휴머나이그c.

참조 :

검토자 글라우콘 바이탈 28년 2월 24일.

뉴스를 받으려면 가입하세요.

댓글을 남기

귀하의 이메일 주소는 공개되지 않습니다. 필수 필드가 표시되어 있습니다 *

관련 게시물
The Sympathizer는 4월 HBO Max에서 첫 방송됩니다.

The Sympathizer: 로버트 다우니 주니어가 출연하는 오리지널 미니시리즈가 14월 XNUMX일 첫 방송됩니다.

미니시리즈 The Sympathizer를 통해 흥미로운 세계로 들어갈 준비를 하세요. 박찬욱, 로버트 다우니 주니어, 산드라 오, 페르난도 메이렐레스 등 유명 배우들의 제작으로 잊을 수 없는 작품이 될 것입니다!
마리아 페르난다 아시스의 아바타
더 읽어보기