情绪哎呀——奥黛丽·赫本。

EMO AI:人工智能让人们根据照片唱歌

若昂·卢卡斯·巴蒂斯塔头像
由阿里巴巴集团开发的新人工智能令人惊讶的是,它可以根据照片生成人们唱歌的视频,其真实感令人惊讶。查看示例

新发布的 情绪人工智能、集团人工智能 如阿里巴巴,在网络上引起巨大反响。该工具根据照片生成视频,使头像用不同的语言演唱歌曲,具有令人惊讶的真实感。

多年来,人工智能领域取得了重大进展,之前出现在照片编辑中,通过应用程序,可以与某人交换面孔、添加滤镜和使用其他功能。现在,视频中的动作模拟引起了互联网用户的极大兴趣,主要是因为这些内容的真实性。

什么是 EMO 人工智能?

Emo ai:人工智能让人们根据照片唱歌。由阿里巴巴集团开发的新人工智能令人惊讶的是,它可以根据照片生成人们唱歌的视频,其真实感令人惊讶。查看示例
EMO AI 的工作原理。图片:复制/EMO:表情肖像活着

A EMO AI:生动的表情肖像 是一种通过传播超现实音频和视频(或图像)来创建视听内容的工具。

A IA 专注于在照片中可以想象的情况下准确、忠实地模拟模特的面部特征。可以根据人物照片制作音乐视频,其中角色可以唱一首流行歌曲,移动嘴唇和面部肌肉,以逼真的姿势正确发音歌词。

据开发商称 智能计算研究所, 从组 如阿里巴巴,创建的视频 情绪人工智能 它们可以有任意持续时间,仅取决于插入以生成视频的音频文件的大小。

人工智能如何运作?

根据专业人士使用的方法, EMO 它只需要一张图像作为制作人工智能生成视频的基础。然后,您必须插入一个音频文件,以便该工具可以根据角色的解释创建视频,将嘴唇动作与歌词同步,并使人物生动起来,只要音频文件存在。

请参阅下面使用 EMO AI 的视频

使用 EMO AI 进行 AI 视频创作的示例。视频:YouTube/AI Drop

上面的视频使用动漫绘图来创建 AI 模拟场景。氧 情绪人工智能 他还成功地以令人信服的方式令人满意地制作了角色的面部和嘴唇动作。

EMO AI工具结构

开发中使用的方法 情绪人工智能 应用的目的正是为了寻求人工智能创建的视频质量的进步。研究人员旨在寻找替代方法来提高结果的质量。

正因为如此,在该过程的初始阶段,称为 帧编码,一个称为 参考网 通过模拟运动帧从单个参考图像中提取特征。此编码过程奠定了视频的基础。

然后,在编码器的帮助下合并音频,并应用面罩,这将实现逼真的面部动作。完成流程、机制 骨干网 负责保存角色的身份并调整面部运动的速度。

Emo ai:人工智能让人们根据照片唱歌。由阿里巴巴集团开发的新人工智能令人惊讶的是,它可以根据照片生成人们唱歌的视频,其真实感令人惊讶。查看示例
EMO AI 的内容制作阶段。图片:复制/EMO:表情肖像活着

尽管有创新的过程,阿里巴巴开发人员在他们的科学文章中报告说,他们发现了该模型的局限性。他们引用说 情绪人工智能 与同一片段中的其他人工智能相比,它需要更长的时间来生成内容,并且在某些情况下,身体的其他部位可能会出现在视频中,例如角色的手。

寻找模拟动作的人工智能

随着人工智能与手机现有操作系统的兼容性不断增强,近年来对这些工具的搜索量猛增。目前,可以找到多种应用程序选项来改变用户的著名面孔、使其变老、使其恢复活力、纠正面部表情以及其他功能。

在这些可能性中, deepfake,这是面部匹配或使用人工智能替换的结果。该资源可用于不同目的,例如幽默、政治甚至色情。在政治方面,在巴西, TSE对此问题开启了警报,已经预见到使用 deepfake 在今年十月的选举中。

在这种情况下, deepfake 这是一个完整的盘子 假新闻,因为它们通常将候选人描绘成撒谎的情况或模拟有争议的演讲,而他从未谈论过这些演讲,出于政治利益的动机。

Emo ai:人工智能让人们根据照片唱歌。由阿里巴巴集团开发的新人工智能令人惊讶的是,它可以根据照片生成人们唱歌的视频,其真实感令人惊讶。查看示例
使用 deepfake 将左边男孩的脸改成美国演员汤姆·克鲁斯。图片:复制品

EMO AI 生成多种语言的表达式

人工智能克服的另一个障碍,包括 情绪人工智能,是用不同语言制作视频。这些技术可以理解不同的语言、它们的发音和发音。这样,就可以制作多种语言的视听内容。

人工智能生成的女人用中文唱歌。再现/ EMO:表情肖像活着

查看下面由 EMO AI 生成的更多视频

角色小丑(Joker,2019)基于电影中的框架,用于 EMO。视频:复制/ EMO:生动的表情肖像
演员莱昂纳多·迪卡普里奥使用人工智能演唱阿姆。再现:EMO:表情肖像活着

丰特斯: 现在阿尔斯, Arxiv, 人性化.

另请参阅:

评论者 格劳孔生命力 在28/2/24。


了解更多关于秀美科技

注册以通过电子邮件接收我们的最新消息。

发表评论

您的电子邮件地址将不会被发表。 必填字段标有 *

相关文章