Esther｜编辑 

在VR中玩多人桌游、握手，这些自然的交互对于VR社交场景十分关键，尤其是逼真的手势交互、体感交互更有助于提升VR社交的沉浸感。目前，Quest 2头显已经支持手势识别功能，Meta希望进一步提升AR/VR的交互效果，因此其Reality Labs科研部门也在研发一些体感手套方案。

Reality Labs表示：今年三月，我们开始陆续公布由三个部分组成的人机接口研究项目。而为了探索一种可以应用于AR眼镜的上下文感知AI界面，我们制定了一个长达10年的规划。这个AI界面可以根据你提供的信息，来提供主动帮助，让你无需低头查手机，就能一边与周围的人交流，一边获取信息。

近期，Reality Labs研发的人机接口项目包括此前公布的EMG腕带AI手势交互方案，而近期其又将详细介绍了一种AR/VR体感手套方案。据悉，这款AR/VR体感手套将涉及软机器人、微流体、手部追踪、触觉渲染、感知科学等多项技术。

据了解，Reality Labs内部有一个团队，专门负责研发自然、低阻力的AR/VR交互系统。这个团队包括Meta的一些研究员、工程师和设计师，其目标放在更遥远的未来，希望通过10到15年时间，为AR/VR交互开创全新的科研领域。Reality Labs表示：我们将研发的交互方案不仅将从根本上改变AR/VR的发展进程，甚至可能会应用于医学、太空旅行等其他领域。

据了解，Reality Labs的科研部门致力于技术创新，与普通科研实验室不同的是，这里的科研人员可以将技术应用于实际，并更快得到使用反馈。这个团队的研究项目与未来的AR/VR社交、元宇宙有紧密关系，他们想要解决的核心挑战是，如何在虚拟世界中实现触感。

相关阅读：《Meta柔性触觉研究：基于电磁传感，成本仅6美元》

 在AR/VR中的应用场景 

我们知道，目前市面上已经出现多种形式的AR/VR体感手套，一些可模拟虚拟物体的阻力、表面触觉，也有一些可模拟压力、震动感等等。应用场景方面，考虑到体感手套成本高，而一些培训场景对体感模拟的准确性要求高，因此AR/VR体感手套主要应用于B端，也有一些面向硬核游戏玩家的VR手套。

而对于Meta来讲，AR/VR手套将打开更高质量的游戏、社交场景，比如多个玩家以3D头像的形式在AR/VR中一起玩3D拼图，当你拿起拼图的时候，能够感受到触摸拼图表面产生的阻力，这种体感比普通的隔空手势识别更真实，可以更加准确的模拟抓取拼图的动作。此外，你还可以通过视觉和触觉，近距离检查拼图的边缘和表面纹理，当你把拼图嵌入位置时，也能感受到咔哒声和相应的体感反馈。

而在办公场景，AR/VR手套可以模拟键盘的敲击感，以及按键的外观触感，因此无需实体键盘或屏幕，你在AR/VR中就能模拟逼真的键盘输入体验。

实际上，Meta已经通过手柄和手势识别来探索多样化的VR交互。相比之下，VR体感手套可带来更自然逼真的体验，而成本却高得多，那么为什么Meta认为这是一项关键技术？体感手套对于AR/VR来说，将如何提高生产力和操作能力？

Reality Labs表示：Meta最接近自然交互的技术是Quest的手势识别，手势识别可以让你直接用手控制VR，这相比于VR手柄是一大进步。尽管如此，缺少触觉反馈的手势交互，意味着你的手无法像在真实场景中那样与物体灵活交互，而体感手套将有望解决这一问题。

Reality Labs Research部门的AR/VR交互和输入科研部门负责人Sean Keller表示：用双手来实现AR/VR中的交互，将带来巨大价值。人类用一生去练习手部运动，我们用手来交流、学习、做动作，如果将手部交互与AR/VR结合，那么你在AR/VR中了也能和虚拟物体自然交互，无需再学习新的交互。

据悉，Keller带领的团队在过去7年时间里，已经逐渐成长为数百名专家组成的队伍。这个团队的目标是研发柔性、轻便的触觉手套，不仅可以更加准确的追踪手势，也能模拟复杂、细微的体感，比如压力、表面纹理的触感、震动等等。并通过这些模拟的体感，进一步提升虚拟交互的逼真感。

 理想AR/VR体感手套的难点 

为了进一步降低AR/VR体感手套成本，并面向大众推广，这项技术需要具备时尚感、舒适性、低成本、耐用、可完整定制等特性。未来的大众化体感手套将与C端VR头显配对，让用户可以在Meta的元宇宙平台中参加逼真的音乐会、玩扑克游戏。而与AR眼镜结合后，体感手套便可以将AR虚拟物体与真实场景进一步融合。

这样理想的体感手套将需要突破现有科学和工程技术的一些突破。Keller表示：我们将围绕AR/VR体感手套，重新构建与这项学科相关的所有技术。比如，他们会学习人们感知触觉，并通过触觉来完成任务的方式，或是寻找适用于各种手掌大小和外形的机械方案。此外，为了进一步推动软机器人和机械追踪技术发展，Meta开始研发全新的柔性材料和制造技术，彻底摆脱过去的技术。

此前，Meta Reality Labs已经公布电磁传感的柔性触觉感知方案ReSkin，而为了将触觉信号转化成体感模拟，Meta在AR/VR体感手套上安装了数百个微型电机。这些微型电机随着手势变化而产生动态的体感反馈，以模拟触摸虚拟物体的阻力。

然而，数百个微型电机通常会产生过多热量，因此配备这些电机的体感手套不适合全天候舒适佩戴。此外，它还存在体积大、不够柔软、成本高、耗电、体感模拟不逼真等缺点。

研究持续两年后，Keller的团队又发现传统电气金属元件存在局限。理论上讲，如果Meta研发一种全新的柔性材料，可以让驱动器根据手部变化而改变形状，并用这种柔软、弹性的驱动器来代替机械驱动器，也许可以解决这一问题。不过，当时并不存在这样的技术。

Reality Labs科研部门硬件工程总监Tristan Trutna表示：在用户手上放置1000个微型电机和1000根电线，这绝不可能发生。不管投入多少资源，都无法在手上放置这么多元件，热量和重量都太大了。为了解决这一问题，将需要使用气动、液压或高密度电活性驱动等方案，才能在多个不同的位置模拟出数千种压力。

于是，该科研团队开始将研究重点转向软机器人和微流体。软机器人和微流体都是新兴领域，此前曾分别用于义肢和PoC医疗检测设备。过去两年中，Keller和团队在气动驱动器和电活性驱动器领域取得重大突破，即通过气压产生阻力，以及通过电场来改变驱动器形状和大小。

据Meta公布的视频显示，其研发的气动驱动器主要部分仅硬币大小，可通过极细的气管来控制气压变化。

据了解，Meta为了控制柔性驱动器，便开始研发号称世界首个高速微流体处理器，这个处理器体积足够小，只需要一个就能控制手套上所有气动驱动器的气压变化。

Reality Labs科研部门科学家Andrew Stanley表示：与市面上更广泛的微流体技术相比，我们研究更注重轻量化、可穿戴、快速响应等特点。为了能在多样化场景中模拟准确的体感，快速响应将成为衡量体感方案的关键。比如在AR/VR中的一些突发事件中，可能只是轻轻一触，因此气动驱动器需要快速对手指加压，将施压的过程缩短至几毫秒。相比之下，化学分析等领域使用的大多数微流体方案，需要几秒钟才能施加压力，响应速度不够快，不适用于理想的AR/VR体感手套。

而为了缩小体感手套的体积，Meta采用了流体逻辑电路，从而减少机电阀数量。

 体感渲染构建准确虚拟世界 

接下来，科研人员需要控制气动驱动的时机和方向，在不同场景中渲染准确的体感。而这将需要实时、准确的手部追踪技术，才能快速确定手在虚拟场景中的位置和动作，以及和虚拟物体之间的距离和交互。除此之外，还需要全新类型的渲染软件，可以快速将手势信号转化成准确的体感信号，并实时传输至驱动器中，模拟纹理、重量和硬度等体感。

Reality Labs科研部门软件工程师Forrest Smith表示：体感渲染指的是，获取虚拟世界的状态以及用户与之的交互，将这些信息进行渲染并传输至驱动器，以实现相应的体感。而为了渲染人与虚拟物体之间的实时交互，则需要模拟相应的物理效果。

比如，利用物理引擎（游戏中常用的交互模拟软件）来计算手与虚拟物体交互时，受力的方向、大小和位置。接着，触觉渲染算法将这些信息与驱动器的位置和属性结合，发送出适合的体感模拟指令。

这时Meta又遇到了难题。Reality Labs科研部门软件工程师Andrew Doxon表示：我们需要构建一种，支持多样化驱动器和体感体验的软件算法。而在未来，这种物理模拟软件还将进一步降低门槛，让人们可以轻易创建体感内容，就像是录视频和音频那样。

 将听觉、视觉和体感反馈结合 

随着科研团队的工作进入第四年，他们又发现，为了模拟逼真的纹理和体感反馈，将需要创建足够逼真的物理触觉模型。尽管如此，在没有真实物理模型或物体的情况下，基于气动的体感手套难以模拟绝对的阻力。也就是说，即使你的手已经穿过虚拟物体的边界，它也不会因为触碰到物体而停止移动。

为了解决上述问题，Meta科研人员开始探索感知科学和多感官集成。换句话讲，就是了解人类感官如何通过协同工作，建立对世界的理解，然后模拟这种协同，“欺骗”AR/VR使用者的感官。

Reality Labs用户体验科研部门的科学经理Sophie Kim解释，人类的大脑通过接收并融合触觉、视觉、听觉信号，来生成一种完整的感受，使人相信自己手中拿着某样物体。正是因为这样的理论，我们决定利用人类的感知能力，来营造令人信服的体感错觉。

为了进一步解释人脑感知周围环境的过程，Meta描述了一个抓方块的例子：当你用手抓起一个立方体时，很快就对它的一些特征做出预测，比如通过视觉和触觉，依据经验对比并识别它的材质，然后通过识别摩擦力和惯性，便能推断出立方体的重量。

同样，体感手套也可以通过拉扯手指的皮肤，来模拟虚拟物体的重力。不过这种模拟的体感，对于时机、准确性的要求很高。

在2017年末的一项实验中，Meta科研团队利用震动触觉反馈手套来模拟与虚拟球体的交互，这些球体的材质包括木材、大理石、泡沫，除了模拟不同的体感外，还结合了各种视觉、听觉线索，以提升交互的逼真感。

Keller表示：这项实验准确模拟了交互的时机和方式，体验者可以感受到泡沫、木头或大理石轻轻撞击手指的触感。

 具备舒适性和定制性的智能织物 

随着技术研发升级，Meta团队开始将重点放在AR/VR体感手势的舒适度，以及传感器和驱动器集成的方向上。实际上，不管任何实验室技术有多神奇，其商业化过程都需要解决整体产品外观、舒适度和实用性这一系列难题。

在实际体验中，即使AR/VR手套能模拟准确的体感，其僵硬、沉重、不舒适、容易脱落等问题也有可能打破AR/VR沉浸感。因此，科研人员开始探索轻量化、柔软、高度耐用的设计方案。

Reality Labs科研部门程序工程师Katherine Healy表示：我们面临的挑战是，将全新的AR/VR体感手套方案小型化，并为它加入多功能的系统，以此来提升整体体验感。

于是，Reality Labs内部的材料团队便开始研发全新的低成本聚合物材质。比如塑料、硅胶这样的柔性材料，它们的特点是同时具备舒适性和可拉伸性，而且可以在分子层面上进行定制，并升级全新的功能。通常，这种智能材质也会用于高性能运动服装。

据悉，Meta需要用全新的制造技术，才能将智能柔性材质变成非常细的纤维，然后通过缝制、针织或编制来做成手套。

Reality Labs科研部门科学经理Kristy Jost表示：仅采用导电纱线做成的体感手套，并不能满足AR/VR交互的需要的全部功能，因此我们开始探索用纤维来打造更轻薄、更耐磨的体感手套，并为其赋予导电、电容和传感等功能。

除了材质外，AR/VR体感手套面临的另一大挑战是通用性，也就是说它需要适合不同尺寸、外形的手，才能在更多用户群中推广。Reality Labs的材料团队希望通过全新的制造技术，通过可定制的手套设计，进一步提升每个人在AR/VR中交互的准确性和舒适性。整个制造流程将包括：用全新的方式制造微型驱动器、全新的编制和刺绣/集成工艺。

目前，Meta研发的AR/VR体感手套由熟练的工程师和技术人员手工制造和组装。Healy表示：我们会尽量采用半自动化工艺，而未来如果要量产，将需要发明新的制造工艺。

 Reality Labs：未来刚开始 

Meta表示：理想的AR/VR体验需要可信度高的体感反馈，支持这种体验的技术尚未出现。尽管如此，Reality Labs将继续通过研发和创新，推动相关技术发展。

对于Meta来讲，体感反馈是其AR/VR和元宇宙战略的关键部分。未来，其希望AR/VR体感技术可以精准模拟按键的瞬时体感，或是在AR/VR中为你提供具有体感模拟的运动指导，还可以模拟虚拟形象握手的体感。

为了实现这样的目标，Reality Labs需要重新研发材料、传感器、驱动器、基层设计和系统，以及全新的渲染算法、物理引擎等技术。因此可以想象，每个人都能用上AR/VR体感手套的未来可能还需要很长一段时间。

除了AR/VR外，Meta研发的气动驱动体感技术也可以用于医疗诊断、微流体生物化学、可穿戴和辅助设备等领域。

在近期发布的文章中，Meta还介绍了打造AR/VR体感手套的Reality Labs科研团队，部分成员包括：

Reality Labs科研部门AR/VR交互与输入研究负责人Sean Keller，他管理的多学科研究部门专注于为下一代计算平台开发交互界面，涉及体感、EMG输入、软体机器人、设计、感知科学、应用机器学习等技术。

Reality Labs科研部门的软件工程师Forrest Smith和Justin Clark：专注为下一代AR/VR界面研发体感反馈渲染工具。

Reality Labs科研部门科学研究经理Kristy Jose和科研程序工程师Katy Healy：专注为体感手套项目研发智能纺织材料，进行材料科学研究。

参考：

https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/

（ END）

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网