投稿、转载、合作
邮箱:cetamag@163.com
QQ:329826367(丁女士)
微信:lixiaokai1224(李女士)
emmadm806(丁女士)
杂志社
Tel:010-64097040
010-64097408
分享
原创 2023-04-21
摘 要:
本文以适配真人的中国传统戏曲仿真表演系统研发为例,从研究背景、前期准备、开发设计、应用体验、未来展望等入手,多角度进行思考总结,为虚拟现实技术与中国传统戏曲表演融合发展提供参考。
0 引言
近年来,国务院办公厅颁布《关于支持戏曲传承发展的若干政策》,中共中央办公厅、国务院办公厅发布《关于实施中华优秀传统文化传承发展工程意见》,把传承和弘扬中华优秀传统文化作为长期开展的国家文化工程的一项重要举措。文化和旅游部的《“十四五”文化和旅游发展规划》等文件规划,也提出“坚持创新驱动”的原则要求。在政策的指引下,虚拟现实(VR)、增强现实(AR)、混合现实(MR)、人工智能、5G通讯等高新技术逐步应用于舞台艺术,丰富了大众的视觉体验,拓展了舞台艺术的表现形式,赋予艺术创新以全新的诠释方式。
中国传统戏曲具有悠久的历史、独特的魅力和深厚的群众基础,是表现和传承中华优秀传统文化的重要载体。但随着时代的发展和科技的进步,传统戏曲却因为传播方式的陈旧,难以获得年轻人的青睐,其传承面临着极大的挑战。因此,如何借助VR技术,将传统戏曲与现代生活相结合,吸引更多受众群体尤其是年轻观众的关注,进而达到“活态传承”,是传统戏曲发展亟需解决的现实问题。有鉴于此,本文结合文化和旅游部重点实验室资助项目“适配真人的中国传统戏曲仿真表演系统研究与开发”的开展(以下简称:该项目),阐述VR技术与传统戏曲表演融合的研究和探索。
1 虚拟现实技术及在演出艺术中的应用
VR(Virtual Reality)即虚拟现实,是这几年迅速兴起的热点技术,沉浸式VR作为VR领域里的一个子领域,可以使用户实际参与到由计算机创造的虚拟世界中去,通过使用交互设备让人们体验身临其境的效果[1]。由于数字化媒体的爆炸式发展,VR技术融入演出艺术已成为一种现实的潮流。
美国堪萨斯大学(University of Kansas)虚拟现实探索研究所(The Institute for the Exploration of Virtual Realities)用VR及其衍生技术在戏剧制作和表演中的应用研究,其代表作品《加法机》(The Adding Machine)(1995)被公认为第一部使用实时的、VR布景的戏剧现场表演作品[2]。
2021年英国皇家莎士比亚剧团的虚拟戏剧《梦》(Dream ),由数字工作室Marshmallow Laser Feast (MLF)创作。灵感来自莎士比亚的《仲夏夜之梦》,将现场表演与虚实混合多种技术相结合,打造沉浸式的表演体验。现场表演在一个动作捕捉工作室进行,大型LED屏幕显示森林世界,帮助表演者定位自己和移动。观众观看由游戏引擎生成的直播,期间,还能被邀请使用网络浏览器通过拍摄发光萤火虫进入与森林环境进行互动,见图1。
而本文谈及的中国传统戏曲仿真表演(以下简称:VR戏曲)是通过立体头盔(Head-Mounted Display,HTC-VIVE,见图2)和动作捕捉技术,由计算机生成一个舞台空间,表演者(或体验者)穿着动作捕捉设备,通过互联网,学习戏曲演员表演,然后自己演绎一段戏曲内容。
2 戏曲VR内容的确定
中国传统戏曲内涵丰富,种类繁多,据不完全统计,各地区的戏曲剧种约有三百六十多种,传统剧目数以万计。其剧本、形式、角色、行当、音乐、唱腔、服装、化装等各个方面带有规范性、表现性和程式性特征。因此,有必要客观地了解受众对传统戏曲了解的程度和偏好,明确后续研究开发的内容。
在该项目设定剧种表演以及剧目内容之前,该项目团队开展了一次问卷调查。问卷调查在线上和线下分别进行,线上有效问卷1162份,线下有效问卷209份。调查对象中,男性占37.18%,女性占62.82%;20岁以下占29.26%,21~35岁占31.41%,36~50岁占18.76%,51岁以上占20.57%;喜欢戏曲的占55.42%,对戏曲不是很感兴趣的占44.58%;经常欣赏戏曲的占8.69%,偶尔听一听的74.61%,从不欣赏的占16.7%。在戏曲剧目或唱段选择中最多的是选择《贵妃醉酒》,其次是《牡丹亭》中的选段。对“如果我们想进行戏曲初级知识科普,更希望通过什么方式接受科普?”的调查内容,希望通过“互动体验”来了解欣赏戏曲的采访对象占比较多,约占34.34%,其次是“影视剧植入”占比27.11%,“路演及街头艺人展示”占比11.1%,其他9.9%,见图3。
在问卷统计中发现,只有37.01%的人体验过VR技术,而62.99%的人没有体验过。可见,VR技术在中国的应用与推广仍有很大的空间。
在剧种选择上,考虑到昆曲是 “ 百戏之祖”,具有完整的表演体系,也对地方戏曲产生了深远影响。京剧则是中国的国粹,是中国影响最大的戏曲剧种,具有高度成熟的程式化表演体系。考虑到代表性、认知度和受众面等相关因素,该项目最终确定以京剧和昆剧作为项目应用剧种。在剧目的选择上除了符合大众审美,更重要的是要适合动作捕捉技术和数字动画制作技术的应用,结合技术难度的考虑,项目团队最后确定京剧《穆桂英挂帅》和《定军山》、昆曲《牡丹亭·游园》等剧目的片段进行制作。
3 系统设计与开发
随着技术的不断迭代更新,该项目在硬件研究和实施过程中,将原来的Kinect体感捕捉和位移平台替换成惯性动作捕捉设备,解决了动作的流畅性和安全性问题。将操作触摸屏和ipad中控设备的功能合二为一,兼具了中控和选择功能。采用HTC-VIVE PRO2头戴设备,拥有4896×2448的组合分辨率,能够呈现更多细节。120°的宽视角(FOV)扩大了整体视野,更好地匹配人眼视觉体验。摄像头使用罗技C1000e4K高清摄像头,拥有最高 4K 30FPS的高清质量。动作捕捉设备诺亦腾Neuron3 PRO,包含全身17节点惯性传感器,支持手指动作捕捉,具有全新的软件系统以及全面开放的插件体系,见图4~图5。
仿真表演系统开发和戏曲表演的数据采样都离不开动作捕捉系统。动作捕捉技术(Motion Capture)是把物体运动信息变成计算机能够识别的一项技术。项目组采用了诺亦腾Perception Neuron 3 Pro惯性动作捕捉设备,采集的戏曲演员穿上动作捕捉设备,在演员的骨骼节点绑定传感器,被采集的人最好着比较紧身的服装,这样捕捉到的数据越精准。动作捕捉跟踪戏曲演员每个表演动作,其运动轨迹在无线链接的电脑上实时记录,再经过计算机处理为虚拟三维空间坐标的数据。有了这些表演数据后,就可以进入三维动画软件的设计开发,见图6~图9。
仿真表演系统软件的开发即是开发一套戏曲VR体验软件,主要用于体验者进行戏曲的学习、戏曲角色的选择、自己头像的植入、表演过程的控制。软件开发技术采用U3d进行开发,可接入能够嵌入体感和传感器系统SDK接口,可在大屏和头盔显示器上使用;程序模块含有材质替换模块、图案替换模块和视频替换模块等,能够实现戏曲模式的实时切换。
戏曲虚拟人是这套适配真人的中国传统戏曲表演系统软件的核心要素。戏曲人物的戏服比一般人物的衣服要复杂的多,是技术上的难点。戏曲虚拟人制作之前,首先要确定这几个方面内容:确定角色戏曲虚拟演员的比例、身高、体重和体脂;确定角色戏曲服饰和道具的设计;确定角色标志性表情和动作的静态设计。技术团队经过多种软件结合应用才完成了三维模型制作。根据捕捉的戏曲演员表演的运动数据在三维动画软件中建立相应的戏曲演员模型。一开始先要制作人体裸模,完成后导入服装制版软件Marvelous Designer进行服装打板和建立3D服装人体模型。初级人体模型(低模)的搭建,一般会用到Maya或者3D Studio Max软件,中高级模型的制作,选用Zbrush/TopoGun等拓扑和雕刻软件,Photoshop/Substance Painter/Marmoset Toolbag等软件配合完成贴图绘制。
在动画制作阶段,使用3D Studio Max或者Maya进行骨骼的绑定、蒙皮,骨骼和模型与戏曲服饰相结合,正确绑定,人物口型、表情等动作技术处理。导入完成的模型和贴图文件用Unity或者虚拟引擎进行材质和灯光的构建,通过虚拟展示引擎把戏曲演员表演内容完美展现。目前该项目技术团队对于制作虚拟人物的绑定和表情算法技术成熟,自创的声音驱动算法达到了一定的标准,见图10~图17。
(1)模型浏览:U3d引擎开发,内核为C#,可延伸模块,能够使用当前通用的3dsmax、maya等三维软件的模型导出的格式嵌入引擎开发,进行各种实时浏览。
(2)窗口界面:采用交互式的串口界面,能够进行2~3级界面操作互动(可不设计界面,但需要预留操作层级画面)。
(3)媒体素材:能够进行通用格式的相关视频、图片素材进行相应的素材替换。
(4)流程控制:符合戏曲表演全流程,在VR虚拟现实软件开发的模块可以实现戏曲角色模型走、跳、跑、旋转的360°全景互动操作,可进行模型材质和颜色更改、模型大小比例缩放、图案和头像等媒体互换。
(5)物理引擎:采用U3d物理引擎,能够有动态的碰撞效果。
(6)交互设备:交互设备采用HTC虚拟现实眼镜进行交互,能够体现VR的沉浸式的交互,底层能打包独立输出,方便以后设置模块。
4 戏曲VR测试
戏曲VR研发中包括模拟环境、感知、表演技能和传感设备等方面。利用场景漫游和碰撞检测实现虚拟现实通过算法进行优化,然后通过体感摄像头和触感传感器动作反馈模块把人体的动作特征传递给处理器,处理器再经过模块搭建,人物动作模块传递给中央处理器分析,并在显示模块上显示。当系统模块中的碰撞检测感应到表演中出现碰撞的时候,中央处理器控制震动模块震动并模拟碰撞情况,同时通过语音模块将音乐或者语音实时传递给穿戴VR终端的操作人员。体验的数据会保存到数据存储器中,并进行表演积分的排名。
5 戏曲VR体验者体验过程及步骤
6 主要创新和贡献
该项目还研制了一套高效便捷的戏曲表演采集方法,自主开发的SDK手套结合惯性动捕系统和设定的标准化的灯光环境,即可完成较大规模戏曲表演数据的批量采集,可为戏曲学员或者业余爱好者积累表演数据。并且采集的数据即可连接相关的虚拟引擎进行虚拟数字人表演。
体验者通过虚拟换装、表情、动作和特效等表达方式和虚拟戏曲数字人进行更多的互动,借助沉浸式的体验,让体验者在虚拟的世界里尽情实现艺术的自我表达。与此同时,通过创造虚拟舞台特效和运镜特效,随着音乐联动营造出完全贴合其戏曲种类的虚拟舞台和随之变幻的视觉风格,让戏曲重新获得了视觉表达,使得戏曲表演不再受到时空和技术的限制,让体验者拥有了全新的戏曲舞台表演体验。
通过模仿戏曲虚拟数字演员的表演,为戏曲爱好者提供了一种新的了解、学习戏曲的路径与方法。协助名角老师解决不能“分身”教授不在同一时空学员的遗憾。该项目具有可复制性,可以为戏曲传习班、戏曲博物馆、城市文化展馆、旅游景区等场所,甚至是戏曲爱好者个人“量身定制”。用户可以直接与定制的名角老师“面对面”学习戏曲表演。戏曲VR的体验让不是演员的用户过了把“真”戏瘾,让戏曲传播和传承方式又多了一种可能。
7 结语
选自 《演艺科技》2022年第四期 张 晴《虚拟现实技术与中国戏曲表演的融合探索——以“适配真人的中国传统戏曲仿真表演系统研发”为例》。转载请标注:演艺科技传媒。更多详细内容请参阅《演艺科技》。
(除原创作品外,本平台所使用的文章、图片、视频及音乐属于原权利人所有,仅用于行业学习交流,并不用于商业用途。文中观点为作者独立观点,因客观原因,或会存在不当使用的情况,如,部分文章或文章部分引用内容未能及时与原作者取得联系,或作者名称及原始出处标注错误等情况,非恶意侵犯原权利人相关权益,敬请相关权利人谅解并与我们联络第一时间处理,共同维护良好的网络创作环境。)
投稿、转载、合作
邮箱:cetamag@163.com
QQ:329826367(丁女士)
微信:lixiaokai1224(李女士)
emmadm806(丁女士)
杂志社
Tel:010-64097040
010-64097408
* 文章为作者独立观点,不代表数艺网立场转载须知
广告 欺诈 淫秽 色情 侵权 骚扰、辱骂、歧视 敏感 违法 犯罪 反动、政治 其它
数艺网是一个信息获取、分享及传播的平台,我们尊重和鼓励数艺网用户创作的内容,认识到保护知识产权对数艺网生存与发展的重要性,承诺将保护知识产权作为数艺网运营的基本原则之一。
本条款原则如下:
1. 用户在数艺网上发表的全部原创内容(包括但不仅限于文章、案例/项目和评论),著作权均归用户本人所有。用户可授权第三方以任何方式使用,不需要得到数艺网的同意。
2. 数艺网上可由多人参与编辑的内容,包括但不限于案例/作品的认领、企业/机构的认领,所有参与编辑者均同意,相关知识产权归数艺网所有。
3. 数艺网提供的网络服务中包含的标识、版面设计、排版方式、文本、图片、图形等均受著作权、商标权及其它法律保护,未经相关权利人(含数艺网及其他原始权利人)同意,上述内容均不得在任何平台被直接或间接发布、使用、出于发布或使用目的的改写或再发行,或被用于其他任何商业目的。
4. 为了促进知识的分享和传播,用户将其在数艺网上发表的全部内容,授予数艺网免费的、不可撤销的、非独家使用许可,数艺网有权将该内容用于数艺网各种形态的产品和服务上,包括但不限于网站以及发表的应用或其他互联网产品。
5. 第三方若出于非商业目的,将用户在数艺网上发表的内容转载在数艺网之外的地方,应当在作品的正文开头的显著位置注明原作者姓名(或原作者在数艺网上使用的帐号名称),给出原始链接,注明「发表于数艺网」,并不得对作品进行修改演绎。若需要对作品进行修改,或用于商业目的,第三方应当联系用户获得单独授权,按照用户规定的方式使用该内容。
6. 数艺网为用户提供「保留所有权利,禁止转载」的选项。除非获得原作者的单独授权,任何第三方不得转载标注了「禁止转载」的内容,否则均视为侵权。
7. 在数艺网上传或发表的内容,用户应保证其为著作权人或已取得合法授权,并且该内容不会侵犯任何第三方的合法权益。如果第三方提出关于著作权的异议,数艺网有权根据实际情况删除相关的内容,且有权追究用户的法律责任。给数艺网或任何第三方造成损失的,用户应负责全额赔偿。
8. 如果任何第三方侵犯了数艺网用户相关的权利,用户同意授权数艺网或其指定的代理人代表数艺网自身或用户对该第三方提出警告、投诉、发起行政执法、诉讼、进行上诉,或谈判和解,并且用户同意在数艺网认为必要的情况下参与共同维权。
9. 数艺网有权但无义务对用户发布的内容进行审核,有权根据相关证据结合《侵权责任法》、《信息网络传播权保护条例》等法律法规及数艺网社区管理规定对侵权信息进行处理。
侵权举报
1.处理原则
数艺网作为新媒体艺术领域的分享交流平台,高度重视自由表达和个人、机构正当权利的平衡。依照法律规定删除违法信息是数艺网社区的法定义务,数艺网社区亦未与任何中介机构合作开展此项业务。
2.受理范围
受理数艺网社区内侵犯机构或个人合法权益的侵权举报,包括但不限于涉及个人隐私、造谣与诽谤、商业侵权。
a.涉及个人隐私:发布内容中直接涉及身份信息,如个人姓名、家庭住址、身份证号码、工作单位、私人电话等详细个人隐私;
b.造谣、诽谤:发布内容中指名道姓(包括自然人和机构)的直接谩骂、侮辱、虚构中伤、恶意诽谤等;
c.商业侵权:泄露机构商业机密及其他根据保密协议不能公开讨论的内容。
3.举报条件
用户在数艺网发表的内容仅表明其个人的立场和观点,并不代表数艺网的立场或观点。如果个人或机构发现数艺网上存在侵犯自身合法权益的内容,可以先尝试与作者取得联系,通过沟通协商解决问题。如您无法联系到作者,或无法通过与作者沟通解决问题,您可通过点击内容下方的举报按钮来向数艺网平台进行投诉。为了保证问题能够及时有效地处理,请务必提交真实有效、完整清晰的材料,否则投诉将无法受理。您需要向数艺网提供的投诉材料包括:
a. 权利人对涉嫌侵权内容拥有商标权、著作权和/或其他依法可以行使权利的权属证明,权属证明通常是营业执照或组织机构代码证;
b. 完整填写的通知书;附供下载的:侵权投诉通知书;
c. 举报人的身份证明,身份证明可以是身份证或护照;
d. 如果举报人非权利人,请举报人提供代表权利人进行举报的书面授权证明。
e. 为确保投诉材料的真实性,在侵权举报中,您还需要签署以下法律声明:
(1) 我本人为所举报内容的合法权利人;
(2) 我举报的发布在数艺网社区中的内容侵犯了本人相应的合法权益;
(3) 如果本侵权举报内容不完全属实,本人将承担由此产生的一切法律责任,并承担和赔偿数艺网因根据投诉人的通知书对相关帐号的处理而造成的任何损失,包括但不限于知乎因向被投诉方赔偿而产生的损失及数艺网名誉、商誉损害等。
4.处理流程
出于网络平台的监督属性,并非所有申请都必须受理。数艺网自收到举报的七个工作日内处理完毕并给出回复。处理期间,不提供任何电话、邮件及其他方式的查询服务。 出现数艺网已经删除或处理的内容,但是百度、谷歌等搜索引擎依然可以搜索到的现象,是因为百度、谷歌等搜索引擎自带缓存,此类问题数艺网无权也无法处理,因此相关申请不予受理。您可以自行联系搜索引擎服务商进行处理。 此为数艺网社区唯一的官方侵权投诉渠道,暂不提供其他方式处理此业务。 用户在数艺网中的商业行为引发的法律纠纷,由交易双方自行处理,与数艺网无关。
免责申明
1.数艺网不能对用户发表的回答或评论的正确性进行保证。
2.用户在数艺网发表的内容仅表明其个人的立场和观点,并不代表数艺网的立场或观点。作为内容的发表者,需自行对所发表内容负责,因所发表内容引发的一切纠纷,由该内容的发表者承担全部法律及连带责任。数艺网不承担任何法律及连带责任。
3.数艺网不保证网络服务一定能满足用户的要求,也不保证网络服务不会中断,对网络服务的及时性、安全性、准确性也都不作保证。
4.对于因不可抗力或数艺网不能控制的原因造成的网络服务中断或其它缺陷,数艺网不承担任何责任,但将尽力减少因此而给用户造成的损失和影响。
协议修改
1.根据互联网的发展和有关法律、法规及规范性文件的变化,或者因业务发展需要,数艺网有权对本协议的条款作出修改或变更,一旦本协议的内容发生变动,数艺网将会直接在数艺网网站上公布修改之后的协议内容,该公布行为视为数艺网已经通知用户修改内容。数艺网也可采用电子邮件或私信的传送方式,提示用户协议条款的修改、服务变更、或其它重要事项。
2.如果不同意数艺网对本协议相关条款所做的修改,用户有权并应当停止使用数艺网。如果用户继续使用数艺网,则视为用户接受数艺网对本协议相关条款所做的修改。
阅读并同意此认领协议方可认领案例
*认领案例的操作记录无法自行删除,请务必确保您参与该案例身份的真实性