资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

无需摄像头,也能实现VR全身追踪?

2022-10-10

hi188 | 编辑

在上篇关于VR全身追踪的文章中,我们简要分析了VR全身追踪对于VR社交的重要性,其中重点在于协调的下肢运动效果。

此前我们能想到的就是物理追踪方案,从光学marker,到深度相机,再到基于RGB相机的骨骼动作识别方案等等。

实际上,实现腿部、脚部等下肢动作追踪也越来越轻松,只不过难点是对于VR一体机来说,不能通过轻量化、简易的方式实现。考虑到现在越来越多的Inside-Out方案的VR一体机,当前并不能以简易的方式追踪腿部、脚部的动作,也不能准确模拟Avatar下半身的动作。追踪结果就是大家普遍吐槽,虚拟社交中只有上半身,这也是当前VR发展的现状。

那么我就在想,在VR中无需借助摄像头或额外设备,就能实现全身追踪又该怎么实现呢?

答案是有的:基于大量人体运动追踪数据,结合机器学习模型,实现基于头显+双手柄的动作来模拟下肢动作,实现全身动作估计的一种方式。

近期一个名为Standable的最新VR全身动作和演示视频公布,就是采用类似的方案。从视频中我们看到了无摄像头和外部设备的条件下,VR也能实现还不错的全身动作估计效果。

据青亭网了解,该项目的开发者John Coumerilh是一个年轻小伙,学习编程前就花了大量时间在《我的世界》中创作、修改各种虚拟场景。最近三年自学Unreal开发并投身到XR领域,2020年5月-2022年1月期间,在开发名为《PHIN》的VR沙盒模拟应用,特点是基于真实的物理模拟效果,目前在SideQuest上可以下载。


而从今年2月份开始,John Coumerilh开始研究了这套名为《Standable: Full Body Estimation》(简称:Standable FBE)的VR全身追踪方案。
Standable FBE的特点是为大多数XR头显,提供了原本不支持的下肢追踪,包括:骨盆、膝盖、腿部或关节处等。
而Standable FBE的开发就是源自于Steam VR追踪方案,开发者John也表示目标就是帮助VR开发者提供一套简化的、易于使用的全身追踪FBIK方案,而无需再花几个月甚至更长时间去优化FBIK。
特点1:无需额外硬件
不像是其它需要光学Marker、或相机追踪方案,这套方案完全基于软件来实现。
那么它是怎么实现的呢?根据开发者John的描述,这套方案基于SteamVR追踪实现大量人体工作追踪数据进行训练,并以生成一套简易化的软件全身追踪方案。
特点2:非常轻量的校准流程
在使用时也尽量简化了步骤,只需要非常少量的校准流程,目前仅需确认眼部位置即可。


特点3:实现复杂的动作模拟
支持从任何方向蹲下、躺下、甚至趴下等动作,也支持走路、慢跑等动作。


特点4:易于使用

因为目前还是研发阶段,针对开发者的工具包目前还在开发之中。John透露:目前正在抓紧精力开发Unreal、Unity工具包,甚至也在研究支持《VRChat》。

特点5:价格低廉

完全个人开发,个人所得税低,因此相对价格低廉。

那么,Standable FBE当前还有哪些缺点呢?

1,左右移动

通常无额外硬件的左右移动会伴随随机抬腿的动作,但是算法不知道你会在什么时间、在什么位置抬腿,应对这种偶发情况还不够友好。
2,胯部位置不准确
因为侧身或弯曲身体等情况时,全身住踪因为不能准确模拟胯部位置和方向,因此很容易让Avatar动作变得僵硬。不过,未来的版本将会大量结合腿部动作追踪。
3,全身动作协调性
目前的Standable FBE仅采用6点追踪方案,而未来John计划升级至12节点,加入了肩部、胸部、肘部、膝盖等节点,会让动作更灵活,实现更复杂的动作。
很高兴看到能有个人开发者在着手解决,无硬件方案的全身追踪算法。实际上,目前包括Meta等VR头部企业,也在着手解决这一问题,比如前段时间就透露将推出基于软件的下肢追踪方案,那么届时相信也会让虚拟社交的体验进一步升级。
参考:
https://www.standablevr.com/
( END)

 
   推荐阅读    




阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

科技艺术 VR全身追踪

11043 举报
  0
登录| 注册 后参与评论