资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

浅析虚拟数字形象在视听传播领域的运用

2023-12-27

  摘   要:

      阐释了虚拟数字形象发展的四个阶段及相应的技术特点,重点阐释了虚拟数字形象制作中的渲染、3D扫描和动作捕捉三种主要技术,分析了构建虚拟数字形象的主要元素、发展方向,以及虚拟数字形象应用的优势及存在的问题。

虚拟数字形象(本文以虚拟数字人为例探讨),不仅在网络视听传播领域成为现象与潮流,在传统视听传播领域中也已进行数字形象上的探索与创新应用。在2023年各地卫视跨年晚会的舞台上,许多演艺从业者都以自己数字分身形象出现,甚至与虚拟乐队一起演唱。通过对2023年五大卫视(东方卫视、北京卫视、浙江卫视、江苏卫视、湖南卫视)制作呈现的跨年晚会的分析可以发现,全部进行了虚实结合(XR视效)方面的尝试,其中有4台跨年晚会中制作呈现了虚拟数字人。此外,江苏卫视和湖南卫视还引入了虚拟舞台的呈现。

随着元宇宙(数字与物理世界融通作用的沉浸式互联空间)[1]场景应用的兴起,很多国家都开始对虚拟数字形象的发展逐步展开深入的探索。近年来,网络视听传播领域不断推动虚拟平台搭建和内容创作,创新表演型数字形象的应用,打破传统模式的游戏化、强社交的元宇宙跨年活动、演唱会开始出现,虚拟数字形象不仅仅体现在表演从业者身上,受众同样可以参与其中。例如,在元宇宙虚拟演唱会上,观众可以选择自己的虚拟形象,与众多线上观众共同参与到节目中,极大地提升了参与感与沉浸感。

因此,虚拟数字形象在视听传播领域中的应用便成为亟待探索的主题。

1 虚拟数字形象发展的历史沿革

虚拟数字形象对于视听传播领域的影响和发展从20世纪就已开始。纵观全世界的虚拟数字形象发展历史,大致分为4个主要阶段:初始阶段(20世纪80年代— 21世纪初),探索阶段(21世纪初—2016年),迅速发展阶段(2016年—2018年),全面运用阶段(2019年至今)。下面简要阐述每一阶段代表性的虚拟数字形象、运用背景和功能作用[2]

1.1 初始阶段的代表性虚拟数字形象

20世纪80年代,电视传媒在全世界视听领域尚处于主导地位,虚拟数字形象开始了在屏幕上的尝试。1985年,最早诞生在电视上的虚拟数字形象Max Headroom[3],外貌是典型的西方白人男子的形象,说话还带有明显的卡顿。但这并非出于技术局限的原因,因为创造这一虚拟数字形象的目的并非代替真人进行新闻或语音播报,而是西方电视传媒行业为了讽刺高高在上、掌控经济政治乃至公众文娱生活的白人男性群体。

这一阶段的虚拟数字形象仅仅作为一种新鲜的尝试,而非将其投入到真正的视听传播领域中去。

1.2 探索阶段的代表性虚拟数字形象

2001年,电影《指环王》中,由美国维塔数码参与制作的虚拟小精灵形象“咕噜”,其精细入微的外貌形象、栩栩如生的动作、令人印象深刻的语音台词,引发了全世界影迷和影评人的热议和关注。这也是电影工业历史中一项跨时代的举动。

2007年8月31日,一位跨时代的虚拟数字形象初音未来诞生,并开始活跃在演艺舞台。初音未来这一虚拟数字形象本质上是一个技术产品,由Crypton Future Media以雅马哈的Vocaloid系列语音合成程序为基础开发的音源库,最初只是作为演唱软件被设计出来,但却成为了影音流行史上最成功的数字形象之一。

这一时期国内也开始了虚拟数字形象的创作尝试,并诞生了第一个中文虚拟数字形象 —— 洛天依(2012年开始活动)。洛天依也是基于语音合成软件Vocaloid系列制作的女性虚拟歌手,其形象由MOTH设计,声源由配音演员山新、鹿乃(日语)担任,由于其国际化的属性,在传播中国文化方面也做出了贡献。

1.3 迅速发展阶段的代表性虚拟数字形象

2016年,受益于视频网站的急速发展,VTuber(Virtual YouTuber的简称)概念正式诞生。其代表形象,也是这一概念的开创者 —— 绊爱(Kizuna AI),从2016年末出道,4个月就达到了40万的订阅量。一个值得关注的细节在于,绊爱在开始播出时自称为“Super AI”,引起了一定的误解,实际上这一虚拟形象与智能AI并无关联。但是,它的出现带动了一大批虚拟数字形象在各类网络社区活动,开辟了视听传播领域的新路径。

1.4 虚拟数字形象各阶段发展中的技术特点

2019年以来,虚拟数字形象进入了高速发展时代,虚拟数字人全面开花,形式也多种多样,特别是跨越时空中的应用尤为生动,如邓丽君等经典形象再现于舞台上,打破时间和地域的界限。

纵观虚拟数字形象的发展历程,在初始阶段,人们开始尝试将虚拟数字形象引入现实世界,受技术手段限制,虚拟形象蓝本主要以手绘为主。在探索阶段,传统手绘逐步被CG、动作捕捉、语音合成等技术所取代。在迅速发展阶段,深度学习算法和AI技术的突破,使虚拟数字形象的制作过程得到了简化,进而在更多领域和视听传播层面有了更多的尝试和运用。在元宇宙场景下,虚拟数字形象有了全面发展,伴随着AI等技术的全面突破与提升,朝着便捷化、精细化、智能化、多样化发展,也带来了成本的降低,越来越多地融合进入传播领域之中。

2 制作虚拟数字形象运用的相关技术

现今主流的虚拟数字形象的制作,在经历前期的设定、原画乃至模型的设计生成后,为了建立写实化的形象,还需要经历真人扫描和细节拓展的制作流程,如图1所示,才能确保生成的虚拟数字形象生动自然,符合视听需求。其中,细节拓展部分,主要运用了渲染、3D扫描及动作捕捉等技术。以下就这三种技术的运用进行简析,分析使用情境及优劣。
2.1 渲染技术的运用
渲染技术的运用使得虚拟数字形象在虚拟舞台或真实舞台上都能与外部环境融合共存,避免视觉上的突兀和对整体观感的破坏。在构建虚拟数字形象的过程中,渲染是指把模型在视点、光线、运动轨迹等因素作用下的视觉画面计算出来的过程。目前运用于虚拟数字形象的渲染技术大致可分为实时和离线两种主要类型。离线渲染就是在计算出画面时并不显示画面,计算机根据预先定义好的光线、轨迹渲染图片,渲染完成后再将图片连续播放,实现动画效果。其优点是渲染质量相对好,美学和视觉效果优秀;缺点是无法实时控制,因此主要运用于影视方面。实时渲染是指计算机在计算画面的同时就将其输出显示。其优点是可以实时操控,缺点则是要受系统负荷能力的限制,必要时需要牺牲画面效果以实现正常呈现,因此主要应用于游戏方面。
2.2 3D扫描技术的运用
值得注意的是,不少先进的虚拟数字形象已经摆脱了架空的人物形象设计,转而设计替代真人形象的虚拟数字形象,这类虚拟数字形象被称为超写实类虚拟数字形象。而3D扫描技术的发展对于超写实虚拟数字形象的制作可谓如虎添翼。虚拟数字形象的扫描建模方式大致可以分为相机阵列扫描和结构光扫描。在写实性虚拟数字形象发展的初期,主要以结构光扫描为主;目前,相机阵列扫描建模发展迅速,已经实现毫秒级高速拍照扫描(顶级的相机阵列精度甚至可以达到亚毫秒级),极大地满足了虚拟数字形象扫描重建的需求,成为人物形象建模的主流方式。
2.3 动作捕捉技术的运用
欲使虚拟数字形象如同真人一般行动自如,在细节拓展中需要动作捕捉技术的加入。动作捕捉可分为光学式、惯性式及图像视觉动作捕捉等。现阶段虚拟数字形象的制作以光学式和惯性式动作捕捉为主。图像视觉动作捕捉虽然有相对开发难度大、精度较低的缺点,但它的优点在于硬件成本低、对环境要求低。表1对比了运用三种动作捕捉技术制作虚拟数字形象的优劣。
动作捕捉的过程一般包括动作捕捉对象、空间,需要相应的技术、设备支持。目前主流的实现方式主要是运用空间场地中多角度的红外相机发出肉眼不可见的红外线,再通过对目标上特定反光点的反射信息监视和跟踪来完成运动的捕捉。动作捕捉对象开始行动时,由单个或多个高速相机从不同角度对目标进行监视和跟踪,在神经网络的深度学习的基础上,对捕获的图像进行简易实时计算。
动作捕捉技术因为高仿真、高效率等特点已经逐渐取代了手动调节关键帧(多运用于动画制作中),特别是在实时互动的应用中,更是不可替代的核心技术。目前,随着动作捕捉技术的发展,对成本和环境要求在不断降低,使用场景的想象力则不断提升,动作捕捉技术已从专业级应用向消费级应用转变,如人脸识别、手势识别等,普及率越来越高,因此成为热点。

3 构建虚拟数字形象的主要元素及发展方向

3.1 虚拟数字形象的主要组成元素

要探究组成虚拟数字形象的元素,首先需要明确,虚拟即非物理世界;数字即计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等数字技术的运用;形象即具有多重实体(人类)特征,如外貌、人类表演或交互能力等。因此,虚拟数字形象并非纯粹技术产物,作为视听产品最终呈现在观(听)众面前,需要三个主要元素支撑:艺术表演者的演绎(真人动捕);传播平台及网络意识的进化(社区创作);人工智能等技术的加持(机器智能)。

虚拟数字形象背后的表演者,一般被称为“中之人”。这也是目前网络视听平台上占据主流的虚拟数字形象(以VTuber群体为代表)。它的优势在于,虚拟数字形象出色,并投以表演者的举动和表情,既存在虚拟感、共鸣感,又有科技感、新鲜感,而元宇宙场景下的虚实转换更会带来破圈体验。

因此,虚拟数字形象的产生与活动,首先需要赋予其人格化的外形。由配音演员赋予虚拟数字形象基本的声线(这里指音色),再由专业画师将其形象进行拟人化,最后从技术层面上创造出一个完整的虚拟数字形象。正是由于虚拟数字形象背后的各种艺术创作者,受众才能与虚拟数字形象产生情感联结,甚至产生同理心。这样的设置也契合了皮格马利翁效应(期待效应)这一心理学现象。

在交互融合层面上,虚拟数字形象逐步参与到影视、动漫、游戏IP,甚至新国潮、传统文化项目中,逐步取代一部分现实明星或演员的功能,成为差异化内容的核心。

3.2 虚拟数字形象的运营方式和未来方向

虚拟数字形象并非昙花一现,伴随着长期的规划设计和活动运作,存在于各类视听节目或活动中,是一整套创作者和受众互动的有机结合,这也印证了交互性在这一领域的重要性。以初音未来为代表的经典虚拟数字形象,本身就是一整个成熟的创作者社区,包含了自发创作、虚拟歌手与Vocaloid社群、Vtuber的互动。早在1961年,IBM曾设计出Diasy Bell软件让计算机能够合成歌声,它最初的作用是专业人士歌曲创作的辅助工具,却遭到了从业者的阻碍,因为有观点认为这一软件会阻碍艺术家的创作。而Vocaloid软件却在当今的虚拟数字形象,尤其是以音乐为主要领域的创作者群体中,发挥了极大的作用。创作者进行产品的创造,通过投放激励带动粉丝社群,并引发爱好者自身不断产生二创作品,各方通过互动互补产生资源补充。这也带动了虚拟数字形象从演艺表演领域走向更多的领域中,并引发与更多行业互动融合的可能性。

随着技术层面的进步和受众接受度的不断提升,交互性是未来虚拟数字形象发展的一大方向,而实时就是交互性的基础。在未来可想象的层面,虚拟数字形象将越来越多地与现实生活融合,达到虚实结合的传播效果;传播媒介产品将通过技术、艺术、故事的结合,在元宇宙中占据重要的组成部分。虚拟数字形象则是这一体系中最关键和重要的媒介和入口。

4 虚拟数字形象的应用优势和局限性

4.1 虚拟数字形象在商业应用上的优势

虚拟数字形象在商业应用方面的优势大致归类为以下几个层面:品牌的人格化,沟通的年轻化,资产的数字化,链接的泛在化,效率的高效化。实时动作捕捉和场景建模带来的拟真的虚拟数字形象,在表演时细微表情变化以及精确到手指的肢体动作都以极高的完成度呈现在观众的面前,让产品的含金量有了质的提升,带来了优质的传播效果。

故事消费也是现代传媒产品中一个重要的组成部分,而数字虚拟形象特殊的背景能够给故事设计带来创作的更大空间和广度,可以与观众或用户一起,在更大的尺度下创造出共同的故事。由于观众与虚拟数字形象的故事产生了情感共鸣,便可确定物质消费时的选择,特别是以明星效应为主导的一部分视听节目可拥有更宽广的选择。以往,邀请以明星为代表的演艺从业人员,往往只形成成本,并不能变成资产,因为粉丝是明星的粉丝,而虚拟数字形象在一定层面上能够避免此类问题。

从观众接受度层面考察,中国传媒大学等发布调查显示,对不同类型的虚拟数字人,大众对其外形、人设、技术能力、服务能力有着明显的期待差异:60%以上的用户最关注虚拟偶像的外形和作品,66%的用户关注虚拟主播的主持风格,但50%的用户认为虚拟员工最重要的是技术服务以及跨界合作能力[4]

4.2 虚拟数字形象在商业演艺应用上的风险

毋庸置疑,虚拟数字形象在演艺层面的运用能够带来商业的延展性,但并非这类商业活动都能获得口碑和效益的成功。举例而言,一位虚拟数字形象策划举办一场线下互动活动,观众戴上VR眼镜,以及力反馈手套的形式,模拟与虚拟数字形象进行握手的过程。但这一尝试却受到观众的指责和抵制,主办方不得以取消见面会。究其原因,这一举动破化了虚拟数字形象的初衷,因为虚实之间的模糊感也是虚拟数字形象的独特性之一。在风险规避层面上,虽然虚拟数字形象的创作者不用过多担心人设的崩塌,但这一形式也存在明显的弊端,因为表演者自身在现实社会中的举动也会影响数字虚拟偶像的运营。如带有浓厚资本背景的虚拟数字形象团体A-SOUL最初就受到VTuber社区的强烈抵制,后续通过技术逐渐转变公众观念。从实际应用和商业延展的角度看,虽然数字虚拟形象属于技术层面,但必须置于适宜的艺术人文领域中,才能发挥其自身真正的价值。

4.3 虚拟数字形象面临的问题和成长困境

在享受虚拟数字形象为视听传播带来极大优势的同时,也要关注某些特定场合使用虚拟数字技术存在的一定风险,如有关历史等题材的场景中,如果运用虚拟数字形象与观众进行互动,涉及到敏感问题的问答很有可能会出现一些不可预知的状况,这涉及到运用场景的筛选和平台的区分。此外,现在一些虚拟数字形象加入人工智能技术,也使虚拟数字形象的表达不可预知,因此,学界开始探求“可解释的AI”。这一问题也侧面印证了在元宇宙应用场景下,虚拟数字形象依旧存在着一定的局限性,也将不可避免地面临人性缺陷、角色设定行为与角色复杂性和社会功利性三方面的难题,这些难题共同构成了成长困境[5]

5 结语

当下如何合理运用虚拟数字形象,这是视听传播领域乃至其他领域都在探讨的问题。有观点认为,虚拟数字形象担当演艺从业人员的分身,是一种劣化的作法,因为虚拟数字形象很难达到真人艺术家的水平,它的迅速发展只是出于人们对于新技术的新鲜感,但也应该看到,自初音未来出现,虚拟数字形象的运营活动已经持续了十几年,存在着极强的开拓性与强劲的生命力,而以虚拟数字形象为主要特征的虚拟主播在媒体融合转型中也发挥着重要作用。

虚拟数字形象的运用和发展带来了创作的全新内容生态。未来的虚拟数字形象可以出现更多的形态,包括独立个人的数字分身。在当今元宇宙应用场景下,虚拟数字形象的发展能给视听领域带来更有深度的探索及更为宽广的运用。从业者需要在不断提升技术的基础上,思考运用场景的合理性和延展性,避免商业上的过度依赖,真正从艺术人文角度让这一技术为演艺行业增添崭新的色彩和亮点。 

选自 《演艺科技》2023年第三期 徐  行浅析虚拟数字形象在视听传播领域的运用转载请标注:演艺科技传媒。更多详细内容请参阅《演艺科技》。

(除原创作品外,本平台所使用的文章、图片、视频及音乐属于原权利人所有,仅用于行业学习交流,并不用于商业用途。文中观点为作者独立观点,因客观原因,或会存在不当使用的情况,如,部分文章或文章部分引用内容未能及时与原作者取得联系,或作者名称及原始出处标注错误等情况,非恶意侵犯原权利人相关权益,敬请相关权利人谅解并与我们联络第一时间处理,共同维护良好的网络创作环境。)


阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号演艺科技传媒 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术

13284 举报
  0
登录| 注册 后参与评论