资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

把苹果全家桶用于VR全身追踪是什么体验

原创 2023-05-09

Esther | 编辑

此前,青亭网曾报道了一项无需摄像头的VR全身追踪方案:Standable: Full Body Estimation(简称SFBE),这套方案就是利用了头显+双手柄数据来模拟预测全身动作数据,效果还算不错。

近期在CHI2023活动上,卡内基梅隆大学Future Interfaces Group科研团队公布了一项类似的研究:IMUPoser,这是一个基于IMU定位的全身姿态预测方案,特点是利用iPhone、Apple Watch、Airpods等常用的电子产品来为VR提供全身追踪数据。相比于此前研发的摄像头全身追踪方案,IMUPoser方案更容易使用,而且成本更低,无需额外的硬件。

VR全身追踪难点

为了让VR更容易上手,Meta已经停产了PC VR产品,开始主推VR一体机,并获得了市场广泛欢迎,引发了VR硬件潮流。VR一体机的好处是开箱即用,戴上就能玩,但在功能、硬件性能上依然有局限。

比如为了避免额外的设置和成本,Quest一体机并没有官方的全身追踪配件,在VR中操控全身Avatar时,只能靠头手三点定位和IK算法来预测下半身动作。

此前,FIG曾探索在Quest手柄上加入广角相机来追踪下半身,这样的方案虽然可行,但需要复杂的计算,而且增加了成本。相比之下,如果用几乎人人都有的手机来定位全身姿态,似乎更容易上手。与用手机摄像头追踪姿态不同,IMUPoser使用IMU来定位,这也是VR追踪模块常用的技术,区别是人们更常使用手机、耳机、智能手表,使用IMUPoser意味着无需穿戴特殊的硬件,就能预测全身姿态。

实际上,苹果此前已经为类似的方案申请专利,考虑到苹果拥有比较完整的软硬件生态,而且其穿戴设备通常都具备加速度计、陀螺仪等运动检测传感器,可以很好的定位。未来也许可以让AR/VR头显、手机、智能手表、耳机等设备联动,从而实现全身动作追踪。

算法预测全身姿态

IMUPoser方案的一大重点,是将从手机、智能手表等设备收集(本文用苹果生态,结合 iPhone、以及可选搭配Airpods、Apple Watch,并用MacBook进行数据回流)的数据整合,并计算出用户的全身姿态。其使用的算法基于定制的双向LSTM模型(长短记忆模型),输出SMPL动捕模型。

手机、手表、耳机可为全身姿态追踪提供足够数据,包括四肢的位置,以及站立、蹲坐等状态。另外,可通过距离传感器识别手机在口袋内部还是外部。还能根据智能手表和手机之间的距离(基于UWB定位),来识别手机在哪个口袋、哪只手上。

当然,IMUPoser定位不仅限于手持手机的场景,当你将手机放在裤兜时,也可以分别追踪左右腿。耳机也是如此,可以放在口袋中。因此可能会出现24种最有可能的搭配,比如智能手表和手机在同一侧手臂上,或是耳机和手机在同一个口袋中。在一些场景中,甚至只能通过一个设备(耳机、手机或手表)来定位IE,全身定位数据不完整。

由于缺少四肢的绝对位置数据,该方案并不是完全准确,经测试手机的实时定位准确性约90.8%,智能手表和耳机的定位准确性接近100%。但当追踪数据小于最低标准时,则需要用预测算法来补偿。比如在预测姿态时可能需要插入预设动作。当IMUPoser识别到用户在行走时,便会假设没用手机、手表定位的一侧手臂、腿也在移动,只是和另一侧不同步(基于人的自然步行姿态)。

应用前景

科研人员指出,全身追踪可用于多种场景,比如健身、移动游戏、情景感知、虚拟助手、康复训练等等。

那么IMUPoser能取代更专业的全身动捕工具吗?在准确性上,它还不够,但它可以用来完善、补充已有的运动追踪设备,比如AR/VR头显

除了数据量不稳定外,IMUPoser的其他限制还包括IMU定位的噪声等等。而且在追踪上半身动作时,如果缺少一只手臂的位置数据,IMUPoser则会复制追踪到的另一只手动作。比如,当你举起一只手打招呼,系统预测的结果却是举双手。

经过验证,科研人员发现下半身追踪最准确的情景,需要用到双腿IMU数据(两个裤兜分别放了手机、耳机)。在缺少部分腿部数据时,则可根据双腿运动的相关规律,来预测出比较合理的动作

参考:

https://dl.acm.org/doi/fullHtml/10.1145/3544548.3581392

( END)


 

 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术 VR全身追踪

11194 举报
  0
登录| 注册 后参与评论