作为国内领先的AI与3D公司，元象今年推出LBVR品牌「幻旅之门 / Vision Walk」，将知名IP、沉浸互动叙事、大空间VR结合，打造《登月奇旅》、《海底两万里》、《永远的盛唐》、《爱丽丝梦游仙境》等现象级剧展，获丝绸之路国际电影节-金梦貘最佳XR作品提名。

VR大空间是一个新兴的沉浸式娱乐方式，它允许用户在一个没有物理限制的虚拟环境中自由移动，与传统VR体验相比，这种体验更接近真实世界的自由度和沉浸感，而带来这种高度沉浸感不可或缺的因素是VR大空间体验中多样的交互。

相比2D界面受限于屏幕、鼠标等限制，在VR中的交互更加多元丰富。我们可以直接伸手触摸、旋转、放大、抓取甚至操纵虚拟对象或是让虚拟物体产生变化，这样的交互方式更符合习惯和自然，增加了用户交互的乐趣与频率。

元象VR大空间项目中的丰富交互动

在元象已经推出的VR大空间项目中，已经有过多样的交互尝试，如在VR中进行绘图、弹奏音乐、打卡拍照、收集装备、与角色交互等…… 这些交互不仅增强了用户的沉浸感，同时也提升了娱乐性和剧情参与度。

头显交互技术类别、原理与区别

头显交互技术的分类

头显设备通常提供两种交互方式：手柄控制和手势追踪技术。手柄输入的优势在于其握持感和位置控制的精准性，但长时间握持手柄导致用户体验不佳，也让沉浸感大打折扣。

相比之下，手势追踪技术提供了一种无需物理设备支持的更自然、直观的交互方式，能将人现实的手映射到虚拟世界，就像是自己身体的一部分一样。但手势追踪依赖于头显摄像头的视觉识别，这限制了追踪的有效区域和范围，如手在身后、脑后的视野盲区会丢失检测结果。

针对手势追踪算法的特性，元象做了一系列工程技术优化和产品玩法设计，使用户可以在VR大空间中体验高自由度、高沉浸、趣味化的零负担新型交互模式。

通过计算机视觉捕捉手部动作

头显设备一般通过视觉技术捕捉手掌关键点，进而获取骨架位置信息，并通过骨骼重定向将信息数据映射到虚拟环境的虚拟手上，从而实现用户对一双虚拟手的灵活实时控制。而不同VR头显平台采用独立的手势识别算法，导致数据格式差异巨大，需针对每个平台进行适配，影响开发效率。

为了解决这一问题，元象开发了一套跨平台的手势交互SDK，支持无缝切换Quest、PICO等主流设备。同时为未来兼容Apple Vision Pro等新型头显设备，定义了一套全新的手部骨骼层级结构，以减少在不同平台切换时重定向算法对手部模型驱动导致的精度损失。

元象VR交互解决方案

支持多种抓取触发方式

在VR中，交互至关重要，用户通过双手在虚拟世界中实现与现实相似、甚至超越现实的体验。然而，要想在虚拟世界完成现实生活中基本的交互操作如抓、握、扔看似简单，但要达到良好的体验却不容易。

体验方面，由于现实缺乏与虚拟世界的物理对应物，抓握动作易引起“扑空”感觉——缺少力反馈。技术方面， 需要解决判断手势的意图（如是抓握还是放手），并确保手势姿势与应用场景逻辑相符，方能提升交互自然度。

元象手势SDK支持多种抓取触发动作，包括触碰、开/闭合手势等多种触发方式来实施抓、握、扔物品。开/闭合手势指的是通过识别特定的闭合手势（如食指与拇指闭合、捏或握拳），实现虚拟物品的抓取；反之检测到手部张开时，物品便会释放。

张开手掌（左），闭合如："捏"、"握拳"等（右）

这种交互方式十分接近现实，但也存在一定学习成本与误检测风险。元象手势SDK针对不同的抓握姿势和放开姿势进行了工程数据细调，使得抓握成功率提升，误放手率大大下降。还支持通过简单触碰来触发自动抓握，以实现用户低学习成本完成交互。

标准化手势资产与SDK

在VR中，确保抓握姿势贴合场景需求至关重要。尽管基于物理模拟的抓握提供了高灵活性，允许通过调整物品的重量和摩擦力来模拟真实抓握过程，但这种方法需要细致的参数调校，且姿势可能与场景不符，因此更适用于精细操作的小场景。

元象手势SDK创新式地定义了一套手势匹配资产PMA（Pose Matching Asset），包含预定义的物品抓握姿势与相对手的位姿，触发时直接从预定义的手势中匹配最佳手势，从而实现精准抓握。所谓“最佳手势”不单是技术层面，也要服务于剧情。如《爱丽丝梦游仙境》中需要引导用户“喝下”魔法菇，而基于日常生活经验，从侧面抓取瓶子的手势适合完成此任务。因此，针对魔法蘑菇药水预先制作从侧面抓握的手势，在触发抓握后切换该手势并吸附物品，使得用户获得符合现实生活认知且流畅的体验。

《爱丽丝梦游仙境》“吃”蘑菇变小

同时为了提升抓握体验，元象手势SDK还提供了自动平滑移动和手部动画混合功能，确保物品在被抓取时能够从原始位置顺畅过渡到目标姿态，避免了生硬的瞬移效果，如下所示，拿起飞机时，飞机会“自动”的平滑当前位姿和目标位姿的差值，从而十分使得整个抓握过程十分流畅。

为了在预定义抓握姿势方案上进一步提高自由度，元象还创新性地开发了自动姿势匹配算法（Pose Matching），能够根据抓握瞬间的手势自动选择最接近的预定义姿势，实现切换多样化抓握。类似于Motion Matching技术，Pose Matching在有限的动画帧库中寻找最匹配姿势，用于抓握场景，提升交互性和自由度。如演示视频所示，不同角度抓握杯子会激活不同握姿，显著增强了灵活性和互动体验。

*补充说明：Motion Matching运动匹配算法从已有的动画数据库中自动匹配最接近的动画帧数据来实现高品质的动画效果，被认为是下时代的先进动画技术，应用于诸多3A游戏大作之中，通常用来实现十分逼真、流畅的角色走跑跳等基础运行动画。

丰富的交互玩法

元象也针对玩法上进行了诸多的探索，如利用手势SDK结合物理引擎功能实现趣味的交互玩法。如演示视频所示，在抓握布娃娃以后，娃娃可以受重力影响“摇头晃脑”；大拇指按娃娃衣服上的按钮，可以让娃娃变色等。

甚至还可以在虚拟世界中与NPC交互，极大地提升了游玩体验。

除了常见的单手交互外，元象也开发了不同类型的趣味双手交互玩法，这也是在其他VR大空间项目中难以能体验到的。如演示视频所示，用右手举“枪”，左手进行射击；右手拿火箭，左手拉动绳索进行发射。

便捷的交互生产线

元象定义了一套成熟的标准化手势动画制作流水线。通过自研工具插件，技术美术/美术同学可以轻松完成物体抓握姿势的可视化、修改与保存等，最终产物都以标准化资产PMA交付。为提升动画的复用性，减少手动制作动画的重复工作，元象还提供自动镜像左右手动画和握姿位姿的功能，简化了动画制作。

为了提升用户引导体验，采用了分离根节点运动和抓握姿势的动画制作方式，这样既能够利用已经制作好的手势资产快速生产引导动画，规范了手势引导动画制作流程，也能够精准提示用户找到可交互的物体，不至于在偌大且内容丰富的虚拟世界里“迷失”。

不同物体的引导动画

实际项目里交互功能的探索

个性化交互体验

不同的互动选择会产生不同的结果，在VR里我们设计了一些因人而异的交互。比如在《爱丽丝梦游仙境》中，我们让玩家自己DIY一顶帽子的形状、装饰、颜色，最终得到的帽子样式和触发的动画也会有所不同，每一次体验都会产生新的结果。

《爱丽丝梦游仙境》DIY帽子互动

多人同玩交互动线设计

如在多人组队游玩时，在一定的空间范围内同时产生交互环节时如何避免拥挤与碰撞，针对这一问题，我们在同一组别不同玩家的动线设计时，设计了不同的交互点位，在虚拟空间和现实空间两个维度避免了玩家交互的重叠。

让虚拟影像流入现实

互动的发生不光在VR场域中产生影响，在现实中也有对应的参照物。让用户在交互后，拥有”获得感“是重要的，因为在配套的小程序中，我们设计了”图集“功能，在用户实际体验完成后，所拍摄的照片能够在小程序中领取。

在VR中拍照后到小程序领取图片

同时，结合实际运营过程中的用户反馈，我们对交互设计也进行不断地迭代，对交互响应速度、引导界面的直观性、稳定性与可维护性、多用户交互管理等方面做了大量的优化，为用户创造一个更加流畅、直观和富有吸引力的VR沉浸式体验。

未来展望

在体验上还可以结合物理引擎制作更多生动有趣的玩法，使得用户在VR虚拟世界中获得更高自由度的手势体验。同时手势识别的引入还可以为用户带来有趣的体验，如苹果Apple Vision Pro中最近火热的交互电影“What if...”中，用户可以使用手势识别来操控传送门，甚至实现“隔空抓物”等。

交互电影“What if…”的趣味玩法

在资产生产上，元象还在大力研究通过可微分物理仿真的方式，自动完成手抓握物体的姿势的生产。同时可微分物理仿真还可以积累和制作大量手部抓握数据库，用于进一步训练生成式AI来生成物体的抓握姿势，这样可以更大程度地提升生产效率，从而实现高品质抓握手势生产的全自动化流程。

元象微分物理仿真自动姿势生产

此外，VR交互技术的应用场景潜力也非常广，包括但不限于多人在线的社交互动、演出等沉浸式的视听盛宴、各类在线游戏，甚至试穿衣物、测试产品等。随着硬件的发展，交互的形式未来也将发展出更多自然和直观的交互方式，如语音识别、面部表情追踪、眼球跟踪，感官也将从视觉、听觉延展到触觉、嗅觉等。