模拟AI配音软件走红

发布时间:2024-11-26 03:47:51 来源: sp20241126

  你能想象郭德纲用流利的英语说相声,而美国女歌手泰勒·斯威夫特则操着一口标准普通话畅谈自己专辑创作的幕后故事吗?十月底,一大批没有翻译腔的“配音”视频在网上走红了,这不是哪个网友在玩明星配音,而是深度模拟AI的作品。

  这一类视频中出现的名人不少,除了泰勒·斯威夫特,英国女演员艾玛·沃森、美国企业家马斯克、电影角色钢铁侠等人物通通都说上了一口流利的普通话,而中国的名人们也没躲过恶搞,除了郭德纲、于谦、岳云鹏这些相声演员,网络红人罗翔、完颜慧德、马保国也能说多国语言,不仅是英语,韩语、法语通通不在话下。

  这些视频还忽悠到了不少网友,在一条郭德纲的英语配音采访视频中,一名网友留言表示“啊?郭德纲老师英语原来这么好的?”也有识破了这是AI生成视频的网友发出了感叹,“郭德纲来了都得愣住。”会让网友感到如此迷惑的原因在于视频中的外语不仅是流利通畅、语句停顿自然,口型也完全一致,甚至声线都难辨真假,和原视频相对比,AI还模仿出了人物说话时原本的停顿和重音。

  制作这些视频的是一款名为heygen的AI视频软件,这是一款付费软件,价格还不低,使用起来很简单,创作者只需要上传视频并选择要翻译的语言,软件可以自动翻译、调整音色并匹配嘴型。不过,也有使用过这款软件的用户表示,heygen并不算很完美,声音克隆的效果仔细听的话还是会有点违和感,人物在说话时情感度稍有欠缺,此外,不少观看过用heygen生成外国人说中文的网友表示,生成的中文语音似乎有点南方口音,不是标准的普通话。

  heygen这款软件其实是个来自深圳的产品,背后的母公司为诗云科技,成立于2020年,“诗云”这个名称取自刘慈欣的科幻小说《诗云》。Heygen前身是一个AI视频翻译平台,对口型视频翻译功能最早上线于今年九月初,并于十月底在国内的社交平台走红,heygen很快推出了付费版并实现盈利,诗云科技联合创始人兼CEO徐卓曾向媒体透露,heygen产品在七个月内实现了100万美元的年度经常性收入,并保持9个月50%的月环比增长率。

  在网友们拿着heygen玩梗名人的时候,对于这一软件的担忧之声也出现了,heygen产出的视频属于深度合成,而且迷惑性相当高,虽说是将一种语言翻译成另一种语言进行配音,但也有用户利用其在声音克隆方面的便捷,使用了自定义的文本进行配音,并通过软件生成对应的口型,若被滥用,其误导性之强不容小觑。记者就在某平台上刷到了一个AI泰勒,她用普通话向中国的歌迷们问好,还和大家闲聊中国的美食,看起来似乎是很自然的歌手和粉丝互动的视频被AI转换成了中文,但仔细深究,人物口型替换了,背景也被替换了,发布者也没有给出视频来源,观众根本无从得知这段视频里的泰勒原本到底是在说什么、做什么,视频上是粉丝互动,但真实的视频也可能和粉丝互动全然没有关系。一些采访类的视频就更令人迷惑了,网友自制的某名人接受采访的视频被转换成英文后,因为没有拍摄到记者的样子,视频片段中也没有出现媒体的标识,没注意到这是AI生成的网友误以为该明星近期接受了外媒采访,登上了国际舞台。从这一层面来说,类似heyen这样的深度虚拟的AI视频软件如果想要在国内市场被广泛使用推广,监管将会是极为重要的一环。

  扬子晚报/紫牛新闻记者 沈昭 【编辑:曹子健】