快捷搜索:

全球首个 3D 版 AI 合成主播亮相,还将参与两会报

大年夜家好,我是 AI 合成主播家族新成员——新小微。

整齐的头发,蓝色的正装,「新小微」坐在新闻台前正经地发话。

AI 合成主播已不稀奇,但能走动、做手势、换装的 3D 版 AI 主播,「新小微」是举世第一个。

刚一上岗,「新小微」就被安排介入今年全国两会时代进行新闻资讯播报。

「新小微」上岗

「新小微」是新闻界首个由 AI 驱动,3D 技巧出现的 AI 合成主播,其原型为新华社记者赵琬微。

与曩昔的 AI 合成主播比拟,「新小微」最大年夜的不合在于其 3D 特点,富厚了播报形态,可以从不合角度进行全方位的出现。

传统单一景深

雷锋网注:「新小微」进入虚拟演播室(图源新华社)

可以看出,此前的 AI 合成主播大年夜多是坐在特定位置长进行新闻播报,而「新小微」则能够进行走动、回身等肢体动作。

不仅如斯,「新小微」在神色方面也变得多样;不再只有“职业假笑”,多了一些微神色。

雷锋网注:图源新华社

不得不说,AI 合成主播越来越有“人样”了。

除了增强了立体感和层次感,在智能性方面,「新小微」也有了新的提升。「新小微」的项目认真人表示,在人工智能的实时驱动下,3D 版 AI 合成主播可实现功能持续自我更迭。

比如说,在“变妆/装”上,「新小微」可以说比曩昔的 AI 主播“爱美”多了,她的发型、妆容可以根据不合场景、不合新闻报道必要而进行变换。

更为甚者,「新小微」的妆容还细致到看得见毛孔。

前面提到,「新小微」在两会时代将正式上岗,进行可量化临盆新闻播报视频。

据新华社先容,只要在机械上输入响应文本内容,「新小微」就能进行新闻播报,并根据不合的语义天生神色信息和肢体动作。

跟着「新小微」越来越智能化,颠末赓续的迭代,「新小微」的舞台不仅仅在于演播厅。相关认真人表示:

跟着 3D 虚拟场景赓续拓展,「新小微」将走出演播室,在不合场景中更好地满意新闻出现的多样化需求。

如斯看来,只要实力够,走出演播厅不是梦。

难怪网友们纷繁感叹,可能要失业了。

AI 主播进入 3D 期间

从体现来看,无论在神色信息、肢体动作、妆容变更,或是在播报新闻的专业能力方面,「新小微」都优于前者。

问题来了,「新小微」作为 AI 合成主播的“后浪”,是借以什么技巧将“前浪”拍在沙滩上的呢?

在数字人模型方面,「新小微」采纳了扫描还原、面部肌肉驱动、神色肢体捕捉等技巧,使其还原出逼真的头发和皮肤效果。

在肢体动作方面,其采集事情就涉及到海量数据,「新小微」的原型赵琬微必要带着数据采集头盔,稀有百个摄像头对其身段部位进行 360° 全方位“打点”扫描。

不仅如斯,摄像头的数据采集事情还包孕了神色扫描,无论什么形态都能够细致地捕捉,作为「新小微」出生的根基。

别的,基于搜狗分身的端到端多模态建模技巧,「新小微」的建模练习能够联合语音、图像、文本、3D 肌肉运动数据等多模态信息完成。

再加以 AI 算法的驱动,「新小微」的专业能力获得了进一步提升,其神色变更、唇动、肢体表达都能够跟随语音文本改变。

而对付「新小微」妆容、服装上的改变,则是基于其“微模块化”的特点。项目认真人进一步解释称:

就像拼乐高一样,我们对‘新小微’的各个部位和神色进行了模块化处置惩罚,然后从新组装。

AI 合成主播家族

跟着「新小微」的上岗,这意味着新华社的 AI 合成主播家族又添了新成员。

早在 2018 年 11 月 7 日,新华社就迎来了举世首个全仿真智能 AI 主持人「新小浩」,以主持人邱浩为原型。

据官方统计数据,首位 AI 合成主播「新小浩」已在新华社客户端上持续为不雅众办事 500 多天,先后产出 13000 多条新闻报道,累计时长跨越 35000 分钟。

搜狗 CEO 王小川先容到,该智能 AI 主持人基于「搜狗分身」技巧,将真人主播的声音、唇形、神色动作等特性进行提取,然后再经由过程语音合成、唇形合成、神色合成以及深度进修等技巧进行克隆。在播报新闻时,只需供给翰墨,AI 合成主播就能进行仿真播报。

不过,虽然第一代 AI 合成主播十分惊艳,但仍存在一些缺憾,如 AI 合成主播此前原型只有男性,没有女性;合成主播只有面部神色,没有肢体动作等。

2019 年 2 月-3 月,AI 合成主播进行了两次版本迭代,由此迎来了举世首位 AI 合成女主播「新小萌」。

相对付初代 AI 合成主播,「新小萌」进一步增强了用户的新闻视听体验,不再局限于坐着播新闻,还增添了一些肢体动作。

并且在版本迭代的同时,AI 合成主播的定制周期也在赓续缩减。因为早期技巧尚不成熟,必要用到大年夜量的数据。经由过程迭代之后,录制时长缩短,且录取的数据也在削减,几个小时的视频资料就可以形成一个逼真形象。

从「新小浩」到「新小萌」,再到「新小微」,每一次 AI 合成主播的现身都邑伴跟着两种不合的话语声音,在齰舌科技进步之余,也有指出不够的发声。

以最新推出的「新小微」为例,有网友指出,「新小微」在读到“AI”时的发音有些别扭;这也从侧面阐清楚明了「新小微」还不敷自然,还没能够完全像人一样。

然则,技巧的成长是必要一点点的量变累积,在赓续的迭代进级中完善,而从这一层面来看,「新小微」是有所进步的。雷锋网

您可能还会对下面的文章感兴趣: