- 0
- 0
- 0
分享
- 元宇宙的“当红小生”虚拟偶像,究竟会用到哪些技术?
-
2022-01-14
*声明,本文使用网络素材整合,图文版权归原作者所有,仅用于行业学习交流,并不用于商业用途。如有侵权,请与我们联系。
2022年各平台的跨年活动中,虚拟人频频亮相,成为平台破圈的创意演艺形式。就在刚过去的元旦假期当中,霸屏各种跨年晚会的虚拟人,不仅有真人的数字孪生,还有全新的虚拟偶像。2022年各平台的跨年活动中,虚拟人频频亮相,成为平台破圈的创意演艺形式。就在刚过去的元旦假期当中,霸屏各种跨年晚会的虚拟人,不仅有真人的数字孪生,还有全新的虚拟偶像。
什么是虚拟偶像?
虚拟偶像是通过绘画、音乐、动画、CG等形式制作,在因特网等虚拟场景或现实场景进行演艺活动,但本身并不足以实体形式存在的人物形象,具有参与性强、无负面信息等特点。从技术角度看,虚拟偶像行业的发展得益于语音合成程序、动作捕捉系统、3D建模应用等技术的持续进步。
小编整理了一些业内知名虚拟偶像制作技术,让我们一起来看看吧~
语音合成程序
代表:Vocaloid
VOCALOID系统架构 图片来自搜狗百科
Vocaloid 系列语音合成程序是以初音未来、洛天依为代表的一系列虚拟偶像的制作软件。作为目前最主流的语音合成方式,Vocaloid采用的是“拼接合成”技术来进行电子音乐制作。基础声音数据来自配音演员,使用者只要输入音符和歌词即可生成一首歌曲,并且可以通过更改音调、调整参数对“歌声”进行微调,模拟出类似人的呼吸、口型甚至颤音。
Vocaloid软件的系统架构分为三个部分:歌曲编辑器、音源库和合成引擎。
歌曲编辑器(Score Editor)是一个可以输入音符、歌词和声音表达式的琴键界面。歌曲编辑器提供不同的参数用于添加表达式和生成歌声,而用户的目标则是对这些参数进行优化。编辑器支持Rewire,并能与DAW同步,也支持用MIDI键盘进行实时回放歌词所组合的乐曲。
音源库(Singer Library)是Vocaloid系统架构的核心部分。每一个由Vocaloid授权的音源库或数据库都采样于真人实录片段。音源库的基础数据必须包含其目标语言可能包含的所有音素(phonemes)的所有组合,还包括双音素和长原音。
合成引擎(Synthesis Engine)是Vocaloid编辑器的综合处理中心。歌曲编辑器会向合成引擎传送一种被称为“Vocaloid MIDI”的乐谱信息,其包含Vocaloid专有的MIDI信息。调整在频域内的不同片段音高和音色后,就会进行拼接并合成歌声。当Vocaloid从DAW作为VSTi来运行时,捆绑在内的VST插件会绕过歌曲编辑器并能直接将各种信息发送给合成引擎。
动捕系统
代表:Perception Neuron
图片来自百度百科
Neuron动捕系统是基于MEMS惯性传感器的动作捕捉系统:子节点模块体积比硬币还小,集成了加速度计、陀螺仪以及磁力计的惯性测量传感器节点。
Neuron传感器节点以60/120 fps的速度向外输出数据。所有传感器的数据都会汇入到Hub主节点之上,然后Hub主节点会将数据以USB有线或者WIFI无线的方式传输到计算机。用户也可选择将数据通过内置的Micro SD卡槽记录在存储卡上。
Neuron动捕系统会与计算机上的Axis Neuron或者Axis Neuron Pro 软件协同使用。这套软件为用户提供了管理与校准Neuron硬件的方法,同时也是录制与输出动作捕捉数据的平台。通过Axis Neuron / Axis Neuron Pro软件,用户可以获得与大多数专业影视特效制作与游戏开发工具所兼容的高质量动作捕捉数据。
该动捕系统可应用于游戏开发、影视制作、舞台特效、医疗康复、运动研究、虚拟现实、人机交互等领域。
3D建模应用
代表:MetaHuman Creator
图片来自虚幻引擎官网
虚幻引擎(UE)旗下的MetaHuman Creator于2021年推出,它的官方口号就是几分钟内完成高保真数字人类。它是一款基于云服务的应用,能帮助任何人在几分钟内创建照片级逼真的数字人类。它的工作原理是基于不断增长的人类外观和动作库中提取出需要的相应资源,并使能够通过直观的工作流程创建出逼真的新角色。
应用简化了原本复杂的技术步骤,让以前可能需要花费几周、几个月才能实现的工作,缩短至数小时甚至一小时之内。该应用还启用了基于发束的毛发和光线追踪,最高品质的MetaHuman也能在带RTX显卡的高端PC上实时运行。所有资产都包含8个LOD级别,其中部分会使用发片,以便用户在从安卓到XSX和PS5的一切平台上都能达到实时性能。
MetaHuman Creator可以与现代动作捕捉和动画技术结合使用,以创建逼真的动作和为视频游戏,电影,电视和其他格式制作的人机交互场景。应用该软件可以为具有实感的角色可以在短短几分钟内生成并配备独特的发型和服装,然后可以对其进行进一步定制以满足设计的需求。
不可否认的是,虚拟偶像的制作成本通常十分高昂。根据其美术的精美程度、技术的先进程度与精密程度等因素,制作成本下至十万,上至几百万。但是,我们处在一个技术变革的拐点。针对虚拟偶像,会有相对应的合理成本的技术解决方案,来促进内容供给增加。比如对虚拟主播来讲,动捕成本会有显著下降,同时效果随着算法和数据的积累,会有更好的呈现。最终,到虚拟社交的方向,可能只要有手机就可以直接实现。随着虚拟偶像技术的进步,其能够为观众带来的与虚拟偶像之间的更多互动方法也十分值得期待。
技术进步使文旅行业产生新可能
更多先进技术资讯
欢迎持续关注声光界
长三角国际文化产业博览会
长三角国际文化科技装备展览会
国家会展中心(上海)
1.2 / 2.2馆
2022年4月07-10日
期待与您相遇!
展会参观
长按识别二维码即可报名
展位预订
李 琼 021 - 6295 1400
liqiong@shanghai-intex.com
明 玥 021 - 6278 2384
mingyue@shanghai-intex.com
媒体合作
陈芙蓉 021 – 6295 1402
chenfurong@shanghai-intex.com
展会合作
符海强 021 - 6295 3191
fuhaiqiang@shanghai-intex.com
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号声光界 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。