Deepfake让罗伯特·德尼罗用流利的德语表演台词!差点忘了他是美国人

来源:量子位

丰色 发自 凹非寺

量子位 报道 | 公众号 QbitAI

当电影用另一种语言配音时,演员的面部动作、口型在新的语言下会非常违和。

不信你看,当章子怡的《卧虎藏龙》被配音成英语后:





Deepfake让罗伯特·德尼罗用流利的德语表演台词!差点忘了他是美国人

观看起来是不是非常奇怪?

现在,最新的技术可以帮大家免除这种“尴尬”:

使用Deepfake来操纵演员的嘴唇和面部表情,使之匹配新语言配音。效果非常逼真!从口型看起来就像演员刚刚学会了一门外语,然后重新拍了一版一样。

影帝罗伯特·德尼罗在《双面劫匪》里有模有样地“说”起了德语





Deepfake让罗伯特·德尼罗用流利的德语表演台词!差点忘了他是美国人

德语、日语、西班牙语的《阿甘正传》:





Deepfake让罗伯特·德尼罗用流利的德语表演台词!差点忘了他是美国人

如果你没看过这两部电影,会怀疑它们其实都不是原声吗?

Deepfake的“用武之地”又多一个

事情是这样的,电影《双面劫匪》的导演在看了它的外国版后非常震惊,表示与人物口型对不上的配音毁了电影里不少精心制作的场景。

要知道,在对电影进行其他语言版本的配音时,为了使对话更接近演员的唇部动作,有时甚至会大幅改变人物对话。

该导演说:“当时我非常伤心。你在一句台词词或一个表演上做一个小的改变,就可能对故事节奏中的一个角色产生大的改变,进而对整个电影产生影响。”

最后,他实在受不了在自己的电影里看“变味儿”的外国配音,表示还是别配了,听原声看字幕得了,开始“盯”上了最新的Deepfake技术。

他开始研究并参加了一个AI配音项目,该项目由德国马克斯-普朗克研究所的一位教授领导。(该研究所出过18个诺贝尔科学奖获得者)

他们的这项AI配音工作比传统的Deepfake复杂得多。需要捕捉一个场景中演员的面部表情和动作,以及用另一种语言说同样台词的人。然后将这些信息结合起来创建一个3D模型,将演员的面部和头部与配音者的嘴唇动作结合起来。

由这位导演和他参与创立的Flawless公司最终从该项目汲取了灵感,和制片厂讨论决定将该技术应用到多种语言版本的电影中。

然后就有了前面我们看到的那个demo效果,人物对话使用德语等语言配音,演员的口型和面部动作却与该语言紧密贴合,让观众根本无法意识到原版其实是用英语拍的。

演员看完表示很不安

这项技术可以帮电影公司制作多语言版本时,避免昂贵的重拍。但是有演员看到自己被AI操纵、“说”出一口流利的外语后,同时表现出了惊喜和担忧这两种反应。

不难理解,Deepfake一直存在争议。

这项触手可及的换脸技术曾被用来合成名人色情片,以及基于报复或其他目的的素人色情视频。在政治领域也有被用来合成名人视频发表不恰当言论,影响选举等政治事件。对社会和伦理造成来很恶劣的影响。

现在在电影行业使用Deepfake的面部操纵,也可能引起争议。

一家也在搞AI配音的公司负责人表示,没法确定一些演员看到自己的表演发生这样的变化会有什么反应,尤其是他们不清楚这是电脑做的情况下。一些名气更大的演员可能根本就不赞同这样做吧。

美国银幕演员公会(SAG)总顾问表示,这项技术可以被合法和合乎道德的使用。任何此类技术的使用都必须获得相关演员的同意,并给予他们适当的补偿后才能进行。

不知道大家期待这项技术被合法利用在电影行业吗?

参考链接:

[1]https://www.wired.com/story/ai-makes-de-niro-perform-lines-flawless-german/

PC4f5X

文章作者信息...

留下你的评论

*评论支持代码高亮<pre class="prettyprint linenums">代码</pre>

相关推荐