*本文为中国音乐学院2022年双一流学科建设项目《中国音乐大典-中国乐派智慧型乐器博物馆》的阶段性成果。

21世纪以来，随着虚拟现实技术逐渐发展成熟，其具有强沉浸感、高拟真度和强交互性等众多优点，迅速在医学、建筑、教育、文化、艺术、娱乐等众多领域得到广泛的应用，并向更多行业拓展。

音乐文化是中华传统文化的重要组成部分，是传承与发展中华传统文化不可或缺的重要一环。使用虚拟现实技术制作的虚拟化乐器具有普及度高、应用成本低、信息维度高等众多优点，是在网络信息时代传播传统音乐的理想工具。

虚拟现实技术的成熟，为传统文化的传播方式提供了更多的可能，可穿戴虚拟现实设备如：VR眼镜、数据手套等的出现，相较于以往的多媒体展示设备而言，其交互性、沉浸性有了极大的提升，并且更具有空间感、真实感、趣味性。对于博物馆的展览展示，以可穿戴虚拟现实设备为界面的虚拟展示方式，相比实体展示而言，具有可供交互、不受时空条件限制等优点，易于传播、维护简单。尤其在乐器博物馆中，借助虚拟现实技术的智慧型乐器博物馆可以突破传统乐器博物馆静态展示乐器的束缚，实现参观者亲自演奏乐器，同时了解乐器的外观、结构、演奏方式和音色，可更为全面地体会和了解乐器的全貌，突出展示乐器本身的音乐属性，而不仅仅只是作为单纯艺术品呈现的视觉属性。

中国音乐学院构建的“智慧型乐器博物馆”，针对中国传统乐器运用虚拟现实技术形成有别于传统博物馆的展览展示形式，用户通过网络与可穿戴设备，即可全方位了解乐器的外形、结构与相关乐器学信息，并通过虚拟现实交互系统，实时体验乐器的真实演奏及音响。按照乐器虚拟化的实现难度由低至高的顺序（见下文第3章），以打击乐器为技术实现的突破口，而打击乐器中又选择中国传统乐器的瑰宝——曾侯乙编钟，以其器形雄伟、规模庞大和“一钟双音”为特征，总结虚拟演奏实践中实现打击乐器交互演奏的技术难点及解决措施，由此探讨未来虚拟现实环境中乐器交互演奏的应用前景。

虚拟现实技术综合了计算机图形学、人工智能技术、多媒体技术、多传感交互技术、并行处理技术等信息技术。一般的技术流程是对物理对象进行3D扫描、数字建模，通过多媒体制作技术为数字模型赋予图文声影等多媒体实时信息，再利用传感技术实现对数字模型的交互式操控，通过输入输出设备实现操控过程中的视觉、听觉、触觉等多感官体验。由此形成的虚拟现实系统，可以根据交互方式类型以及沉浸程度的深度分为几个大类，不同的交互模式也适应乐器多种多样的演奏方式。

非沉浸式虚拟现实系统是用户通过使用键鼠、触控屏或者摇杆等传统人机交互设备来与虚拟空间交互，又被称桌面式或窗口式虚拟现实系统。这种虚拟现实交互系统的沉浸度较低，用户置身世外，但是所需的设备成本与门槛较低。

半沉浸式虚拟现实交互系统也被称为增强式虚拟现实系统（Augmented Reality System，简称AR），是一种将虚拟空间投射到现实，形成两个世界无缝连接的虚拟现实系统，此类系统一般应具备3个基本功能：将真实对象和虚拟对象结合在一起；交互、实时地运行；同时跟踪真实对象和虚拟对象。这种虚拟现实系统既可以在手机电脑等传统显示设备上实现，也可以使用全覆式或非全覆式的VR眼镜和控制器来进行交互。此类虚拟现实交互系统依附于现实场景存在，但设备需求相对较低，而且往往基于视觉识别来进行投射，用户的参与度、对场地的要求较沉浸式虚拟现实系统更低。

沉浸式虚拟现实交互系统可以让用户完全沉浸于虚拟空间，最大程度融入并感知虚拟环境，一般有两种途径实现这种系统功能：洞穴自动虚拟环境和头戴式显示器，同时配备运动传感器以协助进行实时交互。与非沉浸式虚拟现实相比，克洛克等学者发现沉浸式虚拟现实可使用户拥有更好的记忆能力。用户更加关注深度沉浸体验的附加任务，空间意识感对于用户记忆至关重要。这种虚拟环境有非常逼真的感受，使用户很难区分虚拟世界和现实世界[3]。同时，还可以配合其他设备进一步增加用户的沉浸感，如环绕声系统、触觉反馈手套甚至风扇等，尽量模拟现实世界的感知环境。沉浸式虚拟现实交互系统可以让用户完全参与到一个与现实环境分割开的虚拟现实环境中，其真实体验感最高，但是对设备性能和虚拟现实系统软件都有较高的要求，为了提高定位精度和实时性，往往还需要搭建外部的感应设备系统。

分布式虚拟现实交互系统通过互联网链接使多地用户能够实时交互，共享相同虚拟世界。分布式虚拟现实系统需要在虚拟环境中远程准确地呈现动画实体，远程主机需要实时显示每个用户位置，以支持系统用户之间的交互，还可实现不同地区的乐手在同一间虚拟房间里进行合奏。分布式虚拟现实交互系统方便远程多人学习，多人协作，提高促进用户间的交流效率。

在编钟演奏虚拟现实交互系统的制作中，利用Lighthouse系统进行空间定位，并配合使用VIVE VR眼镜（见图1）和控制器。之所以选择Lighthouse系统，是由于虚拟现实乐器对空间定位的各项性能要求很高，且需要用户能在一定范围内移动，Lighthouse系统是目前综合性能最强的空间定位系统之一。其工作原理是使用两个红外激光基站构建一个定位空间，用户可以在该空间内进行移动，Lighthouse一代的每个基站安装有一个两转轴互相垂直的红外LED阵列，以10 ms为一圈的速度旋转。每个基站分别循环指示 A 或者 B 两个红外激光发射器，两者间有固定的180°相位差，并轮流亮起，每20 ms为一个循环，分别从X轴和Y轴扫过整个房间。在VR眼镜头盔和控制器上分布着数十个红外激光感应器，用以接收 Lighthouse基站发出的红外激光，在基站的LED闪光后，所有设备的时间会自动同步，然后激光开始扫描整个空间，红外激光传感器可以测量出X轴激光和Y轴激光到达每个传感器的时间，根据传感器接收到激光的顺序和时间差，就能计算出VR眼镜和控制器在空间中的位置以及姿态，根据每次定位之间的位置差还可以得出粗略的运动轨迹。

Lighthouse二代改进了红外激光基站结构，采用两个斜向的红外激光发射器，共用一个转轴，以V字型扫过整个区域，从而大幅减少了基站中的元件数量，降低了其成本和功耗，提高了抗干扰能力和扫描帧数。

相较于通过视觉识别的定位，这种技术省去了复杂的图像处理过程，所以延迟更小，精度更高，很大程度上可减小遮挡对定位的影响，并且能同时支持多个设备的定位，由于定位基于红外激光，所以使用场景中的可见光情况对定位功能的影响也较小。该系统的缺点在于，每次使用前都需要搭设基站，便携性略差，并且成本较高，价格甚至能达到图像识别系统的数倍以上。

作为一种性价比很高的选择，基于图像识别的视觉空间定位系统是很多虚拟应用的选择。这种系统使用头戴式显示器上的摄像头对周围环境进行拍摄，然后通过图像识别定位周围景物中的一些特征点，再通过多次拍摄之间特征点的位移来推算头戴式显示器自身的位移，并在控制器上绘制特征点以方便识别控制器并计算控制器位置；同时，结合陀螺仪等装置测算姿态信息。

图像识别空间定位系统需要进行大量的运算，且依赖于图像识别算法，所以其稳定性、精度、帧数和实时性都相对较低，当图像特征点或摄像头被遮挡时定位功能便会受到影响，且控制器一旦离开摄像头视野便会丢失定位，因为是基于可见光的空间定位，所以在黑暗或严重强光的环境中也无法正常使用。此类系统一般不支持用户进行房间规模的大范围移动。但其优点在于，不需要架设基站，也不需要任何数据或电源线连接，头戴式显示器本身就是整套定位系统，便携性很强，随时随地拿起来就可以使用，价格也比较亲民。

星座空间定位系统是一种由外向内的红外线图像识别系统，即红外线灯安装在头戴式显示器和控制器上，再由基站上的红外线摄像头拍摄图像并将红外线灯作为特征点进行识别，再使用图像识别算法进行定位，每个红外线灯会以不同频率闪烁以方便系统区分每个灯的编号，以此来计算姿态信息。使用多个基站可以构成可识别用户移动的定位空间。

相对普通的图像识别空间定位系统来讲，以红外线灯作为特征点可以提高定位的稳定性和精度，也能减少光线和遮挡因素对定位的影响，但各方面性能依然不如Lighthouse系统，且星座空间定位系统也需要架设基站，便携性较差。

数据手套是为了能够准确地定位每根手指的位置和人的手势而设计。数据手套在每个指关节处都有弯曲传感器（见图2），可以测量每个指关节弯曲的程度，进而计算出手势的形状；在数据手套的手腕处安装有类似VR眼镜和控制器上的空间定位系统，以确定手部整体的位置和姿态，定位器与弯曲传感器相结合，就可以较为准确地确定人手的定位与手势。但由于人手部软组织的互相挤压会对传感器产生干扰，所以需要对传感器求得的逆映射进行解耦计算。其中力反馈数据手套还可以对用户的手指施力来在一定程度上模拟真实的触觉。

由于数据手套传感器较多，解耦和标定计算复杂，进行实时运算的压力较大，所以数据手套在延迟和精度上会逊于手柄控制器。

在虚拟现实交互系统中虚拟出实体乐器的演奏效果，最重要的便是如何在虚拟现实空间中尽可能地还原乐器及演奏行为，以此提升用户的沉浸程度，并达到全方位展示乐器的目的。因此，根据乐器本身的演奏方式，以管弦乐队分类法、构建虚拟现实乐器交互技术的难易程度进行乐器的虚拟化。

打击乐器是虚拟现实空间中最容易实现的乐器，相比管乐器或弦乐器，绝大多数在其演奏时对动作的精度要求较低，可供打击的部位较大。例如编钟一般只要使用通用控制器检测用户的手部位置和角度即可推算鼓锤的位置，通过手部的移动速度可以推断其力度，在检测到鼓锤与振动体碰撞时根据打击力度播放对应的音频即可。

为了更好地还原真实感，可以录制更多力度的音频文件，并录制同一位置同一力度的多个音频，在演奏时随机响应，由此而增加乐器演奏结果的真实感，以仿真现实乐器的演奏过程。其交互过程中的运算逻辑与现在常见的VR游戏程序类似，很适合在沉浸式虚拟现实系统中使用。

大部分吹奏乐器在演奏时，每根手指都对应一个固定的音孔或按键。所以使用数据手套时可以直接默认按下的手指对应于固定音孔，只需要检测手指的起落来控制音孔的开合。对于一小部分管乐器在演奏中音控与手指不成一一对应关系的情况，还需要更高精度的空间定位才能正确稳定地发声，如笙、排箫等。在传统民族管乐器中常有抹音、半孔等技巧，如竹笛、箫、唢呐等，若要完全仿真传统管乐器的演奏技巧，还需要对按孔动作实现更高的定位精度。目前可预见的改善途径是增加空间定位基站的数量和控制器的信息通道，但是囿于当前的硬件发展水平，估计其提升效果有限，尤其是中国传统、乐器演奏的过程中，手指的定位精度往往要精确至毫米级甚至更小单位（如笛箫等乐器）——这也是本研究选择以打击乐器为起点的原因之一。另一个难点还在于，如何控制吹气的动作，气流的强弱本就对音量、音色乃至音高有很大的影响，使用内置或外置传声器可以检测用户的吹奏气流强度，以此对音量、音色等结果产生响应，但如果想要更快速而精确地还原用户的吹奏行为，还需要进一步优化对气流的测算算法。另一方面，要支持管乐器多样化的音色、音量和音长，还需要极其大量的音频采样和整理工作。

弦乐器由于其构造的特点，琴弦之间往往间距较小，且音高时常依赖于准确的把位，因此，弦乐器的手指按弦的定位对于控制器的精度要求极高，即使采用数据手套可以较为准确地采集手势数据，但由于VR空间定位的延迟问题，很难在快速演奏中准确定位演奏的琴弦，最多只能支持古琴这种琴弦数量较少、间距较大的弦乐器。对于弦乐器中决定音高的把位，只能使用分区的方式将音高粗略地固定，且无法演奏颤音等技法，数据手套也难以准确分辨一部分演奏时需要用到的特殊手势。另一难点在于，弦乐器不同于打击乐，不能以手指拨弦的瞬间移动速度来响应演奏的力度，因此，对音量、音色的控制程度较低。可以尝试使用半沉浸式的虚拟现实系统和交互性电子音乐装置结合，或是使用触控屏作为输入装置，使用VR眼镜作为输出装置。

实现虚拟现实交互系统的关键需要有3D建模技术，音响采集技术、三维显示技术和人机交互技术等。以曾侯乙编钟演奏虚拟化的制作过程为例，说明虚拟现实交互系统的实现。

编钟的3D模型是其在虚拟现实空间中的交互载体，3D模型建立的逼真、精美程度对于用户体验的真实感至关重要。建模中，精确的大小与结构是完整还原编钟演奏方式的基础。

编钟3D建模可以使用与传统实物建模相同的方式。如采用3D MAX软件进行建模，建模方式设置为“Polygon”（多边形），通过“Edit Poly”命令参照图片编辑出编钟的3D模型，如图3所示。之后；运用Photo Shop 软件，参考高清摄像机拍摄的图片制作编钟的表面纹理贴图；采用3DSMax 的标准材质功能，将处理好的材质图片分别包裹在编钟3D模型相应位置上，材质贴图包括漫反射贴图、高光贴图、光泽度贴图和凹凸贴图等。除编钟本身外，编钟的钟架和钟锤也需要进行建模。

制作完成后，执行 Export→Export 命令导出FBX模型并将文件存放于unity 3D工程文件夹下的Assets文件夹中，以方便之后的制作。

声音是乐器的灵魂，在编钟演奏虚拟现实校核系统中采用双声道立体声音频格式，能有效提升用户演奏时的真实感，最大程度还原演奏的体验。

编钟演奏的采录样本为北京大钟寺古钟博物院收藏的对照曾侯乙编钟原件进行1:1复制制作的曾侯乙编钟演奏版本，如图4所示。复制品使用原件的倒模铸造，与原件的形制相同，并且以原件为基础进行调音，遵守“形似，声似，神似”的原则，但受制于当时的技术条件和认知，与原件有少量误差。

采录方式为使用主辅传声器同时进行采录，拾音方案如图5所示。主传声器采用索尼D100录音笔，固定在编钟整体（声源）中央正前方、高1.8 m处，采录整体声场的立体声样本。副传声器采用AKG C414近距离对单块区域的编钟进行细节补充，采录单声道样本，随着敲击的编钟而改变位置。将整套编钟分为3块区域，采录每一排编钟时副传声器需挪动2次，且每次移动后将副传声器摆放在该区域的中央正前方，高1.8 m处，指向该区域的中心。

本次采录使用的软件是Pro Tools工作站。采录内容如下。

（1）正侧鼓音：寻找到每枚编钟正鼓音和侧鼓音的最佳敲击点，如图6所示，采集每件编钟的正鼓音与侧鼓音敲击样本各3个。

（2）力度：每个编钟的正鼓音和侧鼓音使用强中弱3种力度各敲击1次。

（3）乐曲片段：采录若干首具有代表性的乐曲小样。

在采录过程中，需注意每次敲击完后要等待余音低于环境噪声后再进的行下一个音的敲击。每次敲击均需记录该次敲击的编钟名称（或编号）等信息，以便后期映射样本。

完成编钟音频的采录后，需要将原始音频文件剪辑并进行编辑，将原始音频文件中不同音高、力度的每一个单音剪辑成一个单独的音频文件，并对其进行编辑以尽可能接近真实的听感。这些音频文件作为音源，将嵌入虚拟现实程序，虚拟现实程序根据使用者的演奏的音高和力度发送MIDI指令，MIDI指令调用相应的音源样本。

考虑到采录使用的是Pro Tools，剪辑与编辑工作同样在Pro Tools工作站中完成，以尽量减少因兼容导致的问题。在对采录的音频文件进行剪辑与编辑时应当注意以下几点。

（1 ）保证单音的从音头到音完整性，每个单音要包含乐器演奏中一个完整的ADSR过程，即Attack（启动时间）、Decay（衰减时间）、Sustain（持续音量）和Release（释放时间）四个阶段。

（2）音频应当“顶头”在每个单音的音头第一个波形处开始，如图7所示。音头的前面不留空白，否则当触发MIDI指令后听到的音会出现一定时间的延迟，导致听觉和动作不同步。

（3）在每个单音结束时应当添加一个大范围（约总音长一半）的淡出效果，以此避免声音突然结束带来的咔哒声。

（4）考虑到编钟的余音很长，所以制作淡出时选择从样本约一半长度开始，渲染一个时间较长的淡出，淡出的模式使用“等能量”，如图8所示，使其更接近正常的听感。

目前最常用的商业开发虚拟现实引擎有unity 3D和Unreal Engine 4（虚幻4）等，因为这两者都有完善的各项功能且稳定性和兼容性较好，其中Unreal Engine 4拥有更好的画质和材质编辑器，可以预先构建框架，快速创尾的 建环境和粒子效果，且完全开放了源代码。unity 3D则拥有更快的加载速度和更好的实时运算能力，还有更多的可用插件来提高开发效率，并且unity 3D可以更好地兼容性能较低的设备。考虑到虚拟现实乐器未来可能将大量运行在手机等低配置设备上，且虚拟现实乐器对画质和运算速度的不同需求，最终选择了使用unity 3D 作为虚拟现实编钟的开发引擎。

第一步，在unity 3D 中，使用地形绘制器制作乐器演奏空间，目前是一个多阶圆形的演奏台，四周环绕着中式栏杆，上方为天空特效，如图9所示，空间中还放有一张长方桌子，用于放置钟锤，用户可以用控制器将钟锤“拿”起。

第二步，将编钟和钟锤的3D模型导入unity 3D程序中，unity 3D可以直接读取3D MAX保存的FBX文件，并在虚拟现实空间中呈现，还可以在 unity 3D中对模型进行一定的修改。

第三步，为每个编钟的正鼓和侧鼓分别设置包围盒以确定碰撞检测区域，并为钟锤的锤头也设置包围盒。考虑到用户在虚拟环境下演奏比在现实中更难以控制，碰撞区域的设定实际上比现实中的最佳敲击点范围稍大。

第四步，通过代码设定力度判定，以用户挥动钟锤的速度作为依据，推算打击力度。

第五步，连接MIDI系统并映射音频，当锤头的包围盒和某一编钟上的包围盒重叠时，判定两者发生了碰撞，根据碰撞的力度、位置，发送指令使MIDI系统播放对应的音频文件，实现演奏功能，如图10所示。

基础的乐器演奏功能制作完成后，还要完善乐器的演奏空间，设计UI界面，添加乐器介绍等辅助功能。

最后，对完成的编钟演奏虚拟现实交互系统进行了多轮测试，进一步调整人机交互系统，优化用户体验，如优化编钟受击时的视觉反馈，调整移动速度和编钟位置，修复bug和优化算法等。

虚拟现实环境下，制作打击乐器相对易于，但实现演奏仍然存在一些技术问题。

虚现现实环境下没有乐器实体，演奏者在敲击时鼓锤与碰撞检测点重叠持续接触，导致音频高速连续播放，或在一次敲击时连续播放两次，通过给碰撞判定添加最短触发间隔可以避免音频高速连播。但过长的触发间隔会限制正常的快速连敲，尤其是需要快速轮奏的鼓类乐器，而过短的触发间隔则不能解决一击双音的问题，再次尝试设定为一次接触模型发声一次，即只要接触不结束就不触发第二次发声。但是，这种设定依然对于快速连奏并不友好，因为没有实体的阻挡和弹力的反振，很难确保演奏者鼓锤在快速轮奏时每一击都在离开模型后才重新敲击。

对于扬琴、马林巴等精细的打击类乐器，还需要较高的定位精度和速度。

同样，虚拟现实环境下的演奏往往出现穿模，钟锤收回时很容易触发附近的另一碰触点，导致一次敲击产生两个甚至更多不同的音，这一现象在演奏编磬这类触发点密集的乐器更为明显。

各乐器间的相互穿模也会在一定程度上影响用户的真实感和沉浸感，视觉上的不协调感就像在提醒用户所处空间的虚拟性，在制作中可以通过让乐器随敲击轻微摆动来缓解这个问题，但不能从本质上解决问题。目前，在虚拟现实交互系统中很难解决穿模的问题，对于在线的远程用户，应该尝试寻找新的算法逻辑，尽量让碰撞点判断的发声逻辑接近现实生活的体验。对于线上线下一体的乐器展馆或体验馆，可以尝试制作简易的乐器模型，利用半沉浸式的AR（现实增强）技术，将虚拟乐器投射到现实中的宿体上，寻找真实性与性价比之间的平衡。

传统的编钟演奏需要多个乐师协同进行，在目前没有分布式虚拟现实系统时，虚拟现实编钟的功能仍集中在展示上，难以用于演奏完整的曲目，更无法和编磬等其他乐器合奏，让人体验传统音乐乐团的完整样貌。

在虚拟现实交互系统中，两个3D模型之间进行碰撞判定实际是3D模型上嵌套的包围盒（例如球形或矩形）间的碰撞判定，其碰撞检测算法决定实时性和完整性。目前的碰撞检测算法是以帧为单位进行检测，判定两物体发生碰撞，至少需要在一帧中发生两物体接触，在检测高速运动的物体时，可能会出现直接穿过包围盒的问题。例如鼓棒高速挥向鼓梆时，可能会穿过鼓梆并最终识别碰撞鼓边而播放鼓边音频，因为对于计算机而言，还未来得及识别鼓棒接触鼓梆的一帧，已经处于鼓棒与鼓边接触的一帧。要解决这个问题，除了需要优化虚拟现实交互系统的碰撞盒设计，还需要更高性能、更快速检测帧数的设备支持。

文中以中国传统乐器之瑰宝——编钟为例，对打击乐器的虚拟现实演奏进行了实践探索。如前所述，编钟由于其器形雄伟、规模庞大和“一钟双音”的鲜明特征，实现对其虚拟现实的交互演奏，无疑对所有打击乐器的技术实现具有突破意义。尽管当前虚拟现实交互系统囿于其整体硬件水平在定位精度、反馈速度等方面的限制，而产生了一些不足和缺憾，但随着虚拟现实算法技术与硬件水平的快速发展，空间定位技术的精度与速度不断提升，有望在不远的将来制作出更具真实感的虚拟现实乐器交互乐器。由打击乐器推而广之，为管乐器与弦乐器的虚拟现实交互演奏铺设好了技术实现途径，目前本项目已实现了对笛箫、琴瑟等管弦乐器的音阶、旋律的虚拟现实演奏，但是对于吟揉、抹音以及力度实时响应等细微精妙的操控与交互，在软硬件方面则还存在着一定的技术瓶颈，同样有待于虚拟现实技术的进一步发展。

值得关注的是，运用分布式虚拟现实系统，人们可以超越空间的限制，和远隔千里的人在虚拟空间中组建乐团，像是在现实中一样交流和演奏，甚至超越现实环境中的限制，达到前所未有的规模，化身精致的虚拟形象，置身于辉煌宫廷之中，获得现实中难以实现的独特沉浸式体验。

相信乐器虚拟现实交互系统具有很强的市场潜力，可以应用于音乐、文化、教育等领域，在线上博物馆和线上公共文化馆中，可以让人亲手演奏珍贵的古代乐器，更为全面地体会和了解乐器的全貌，还能突破时空的限制，让人们不必长途旅行，就能参观各地的博物馆和文化馆了，使演奏和展览乐器的成本都将大大降低；对于线上音乐教学，有助于学习者以较低的成本、再任何地方尝试学习多种乐器。

选自《演艺科技》 2022年第二期 李佳耕，付晓东《中国传统打击乐器演奏虚拟现实交互系统的研究*——以编钟为例》。转载请标注：演艺科技传媒。更多详细内容请参阅《演艺科技》。

（除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，仅用于行业学习交流，并不用于商业用途。文中观点为作者独立观点，因客观原因，或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联络第一时间处理，共同维护良好的网络创作环境。）