索尼360 VME空间音频技术解析：可打造虚拟的专业混音室-数艺网

资讯: 展览资讯大型展会灯光节大型盛典赛事中标捷报产品快讯热门话题艺术节活动演出新闻数艺报道俱乐部签约

观点: 大咖专访观点洞察书籍推荐吐槽设计观点企业访谈问答趋势创新论文职场方法薪资报价数艺专访

幕后: 幕后故事团队访谈经验分享解密评测数艺访谈

干货: 设计方案策划方案素材资源教程文案资源 PPT下载入门宝典作品合集产品手册电子书项目对接

索尼360 VME空间音频技术解析：可打造虚拟的专业混音室: 原创 2021-12-29

Esther｜编辑

我们都知道，理想的VR体验不只需要沉浸、清晰的视觉效果，还需要模拟逼真的体感环境，而具有空间感的3D音频也同样重要。在VR中常用到两种音频，即Object Based Audio和Ambisonic。

其中，Ambisonic可应用于3DoF全景VR视频。指的是一种高保真的立体声像复制技术，特点是将声源贴在360°全景视频上，又称为full-sphere环绕音频。而Object-based音频则是一种将声源与位置信息结合的技术，原理是在空间中特定位置，放置支持实时渲染的声源，为体验者提供具有空间感的声音效果。

索尼表示：随着音频技术发展，多声道音频格式已经在电影、游戏、音乐等领域普遍使用。而在近年来，通常用于影视、动画后期的Object-based音频技术也开始应用于6DoF AR/VR应用。

近年来，索尼不断在探索360°沉浸式音频技术，比如在CES 2019年展示的360 Reality Audio系统，特点是可为高清音乐加入空间维度信息，营造“演唱会级”临场感。而近期，索尼公布了最新的空间音频研究：360 VME，进一步向大家介绍这项技术的更多细节。

据青亭网了解，VME全称为虚拟混音环境，其特点是可以在耳机中，精准重现混音工作室的声音环境。而360 VME是一种空间声音技术，可模拟300人规模混音工作室的声音环境，其准确性足够高，可满足一些专业场景的需求。作为空间音频方案，360 VME的关键在于结合了个性化的HRTF算法，因此可还原体验感足够逼真的3D声场。

空间音频技术再现混音环境

在此基础上，空间音频技术可以重现完整的声场，索尼认为，未来市场对精准空间音频技术的需求将增长。因为，空间音频不仅有助于提升沉浸感，还能为声音内容创作者提供全新的创作环境。

作为空间音频技术，360 VME是一种声音再现技术，目前索尼影视娱乐公司（SPE）已经在电影制作中，将该技术投入实际使用。据了解，此前SPE一直受到混音工作室数量少的限制，因此希望找到一种不受地理位置限制的，高质量混音工作室模拟方案。使用混音工作室模拟方案，电影后期可以随时随地播放和制作电影音效。

后来，SPE了解到索尼研发中心正在开发一种空间音频技术，于是便开始合作，探索空间音频在专业领域的应用。索尼表示：用360 VME技术渲染的空间音频质量足以满足专业音频创作的需求，未来还可以应用于电影之外的场景，优化各种音频内容创作的流程。

HRTF算法个性化

通常，耳机中渲染的3D声场是通过分别计算左右耳音频来实现的。相比之下，在耳机中运行360 VME技术同样需要分别处理双耳音频，区别在于，360 VME将每个音频体验者的HRTF（Head-Related Transfer Function）信息与声源结合。

据了解，HRTF是一种与头部位置相关的传输函数，也是一种声学模型，涉及空间参数（与体验者头部为中心的球形相对坐标系）、声音频率、人体学参数等等。理论上讲，使用基于个人的全空间HRTF数据，将可以渲染出完整的声场，包括人移动到任何位置的声音效果，与真实的声音足够接近。

我们知道，人眼通过视差变化来测量物体的距离，而人耳则是通过声音入耳的时间和音量差异来定位声源。有趣的是，即使不同的人聆听同一声源，他们的实际感受也会受到耳朵形状等因素影响。与此同时，HRTF可以记录声音从声源到双耳的变化特性，并利用这些数据来还原逼真的声场，在虚拟空间中固定位置相关的声源。于是，你便可以在耳机中感受媲美混音室的3D音效。

为了给用户制定个性化的HRTF函数，索尼还开发了HRTF数据测量、信号处理、耳机音频渲染等完整的音频处理流程。

渲染空间音频的挑战

体验过3D音频的人可能深有体会，当模拟声源在你左右两侧时，你更容易分辨它们的位置和距离。而如果声源放在你的前方，则难以分辨距离和位置。这是因为声源在左右两侧移动时，声音进入人耳的时间和音量将产生明显差异。而声源在你前方移动时，声音差别不大，而你耳朵形状对声音的影响反而更大。

因此，为了进一步提升声场还原的准确性，索尼决定在处理双耳音频时，针对不同的用户来个性化HRTF信息。

此外，为了在实际应用场景实现个性化的HRTF算法，索尼与SPE合作研发了各种可能影响360 VME性能的技术和设备，包括麦克风、测量工具、信号处理技术（将测量数据转化为可回放的信号）。

此外，还与索尼的耳机设计工程师合作定制了空间音频耳机，特点是可以稳定渲染双耳音频。为了提升左右耳音频的稳定性，这款耳机采用了一种机械结构，来固定耳机的位置。而耳机的驱动单元（发出声音的位置）也需要设计特殊的角度和位置。

同时，SPE还向声音创作者收集了对于360 VME的反馈，以满足其需求（比如根据创作流程来调整混响的体验感，或是改变模拟空间的大小，以满足大规模、复杂电影音效开发的需求），网上空间音频技术在实际创作中的使用效果。

关键应用场景

索尼表示：有了360 VME技术，即使不在专业混音室也能营造具有空间感的剧场音频，这项技术受到了电影专业人士认可，认为它有望改变一些行业的传统工作流程。在疫情之前，SPE就已经使用360 VME来制作一些电影的音效，而疫情开始后，360 VME为远程混音工作带来可能。现在，SPE已经开始推广360 VME技术在电影制作场景的应用。

索尼表示：未来计划将360 VME部署至更多声音创作应用，为创作者们提供更多新功能，除了电影音效外，还可以用来开发游戏、音乐等等。可以想象，AR/VR也将成为360 VME的潜在应用场景。

当然，游戏和音乐创作者的需求与电影创作者可能并不相同，因此使用360 VME的方式可能也与电影不同。通过与创作者交流，索尼将有望优化技术的实际应用效果，同时也会根据应用场景来提升空间音频重现的准确性。

（ END）

每天五分钟，轻松了解前沿科技。
—— 青亭网

阅读原文 * 文章为作者独立观点，不代表数艺网立场转载须知: 本文内容由数艺网收录采集自微信公众号青亭网 ，并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源：数艺网” 并附上本页链接：如您不希望被数艺网所收录，感觉到侵犯到了您的权益，请及时告知数艺网，我们表示诚挚的歉意，并及时处理或删除。

数字媒体艺术新媒体艺术技术解析空间音频索尼设备技术展示

16111