资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

论全身追踪与VR社交

原创 2022-10-04

Esther | 编辑

《头号玩家》等科幻作品对VR描绘中,人们通常是以第一人称扮演虚拟化身来互动和社交,支持全身操控的虚拟化身可以让VR更加身临其境,让使用者在虚拟空间中也有足够存在感。然而目前,由于成本高、使用复杂等因素,全身追踪技术依然未在VR用户中普及。

据统计,仅在美国就有超过5000万VR用户,大约是5年前的两倍以上。随着VR用户规模增长,虚拟社交场景也逐渐成为可能,人们开始在VR中寻求更多表达自己的方式,比如更丰富的肢体表达能力等等。但VR头显和手柄所能提供的追踪效果有限,尽管你可以使用虚拟化身来代表自己,但却无法直接操控其全身动作。正因如此,Meta官方Avatar系统只有上半身形象,干脆省去了腿和脚,但这种设计并不自然,看起来就像是漂浮在空中的半截身子,常常被用户吐槽。

VR社交带动全身追踪

近年来,人们对于VR社交和互动的需求越来越强烈。多人VR游戏《Gorilla Tag》只能追踪上半身,但通过巧妙的虚拟化身设计和沉浸的游戏体验,该作在上线半年多就收获了150万用户。而在VRChat等应用中,全身追踪似乎是更理想的选择。从YouTube等平台的体验视频来看,用全身追踪来控制虚拟形象,可带来更不一样的玩法。

全身追踪对于虚拟化身玩法很重要,也是未来VR社交必然的趋势。现阶段,全身追踪距离在VR中普及还有一段距离,由于技术的成本和使用门槛对新手并不算友好,因此大概只有硬核VR玩家在VRChat中使用全身追踪。在PC VR端,即使搭配市面有售的Vive Tracker,也需要一定的设置过程,如果在腰部、膝盖、脚部等位置固定追踪模块,不仅用额外的重量影响了VR体验的灵活性,还大幅增加成本。而在VR一体机端,由于光学追踪范围局限等因素,市面上可供选择的优质第三方追踪方案不多

为了更好的满足普通VR用户的社交需求,降低全身追踪成本将成为必然趋势,当成本降下来,VR全身追踪才更可能普及。那么,未来哪种低成本方案更有望推动全身追踪普及呢?从一些公布的研究来看,我们可以推测出未来可能出现的方案,比如用手机实现全身动捕,或是将光学动捕技术集成在VR头显中。

移动摄像头追踪方案

尽管目前Meta Avatar VR头像只有上半身,但其科研人员在Codec Avatar项目上却探索了全身形象方案,毫无疑问未来也将通过某种方式在VR中追踪用户全身动作。只是由于在Quest 2上用摄像头来追踪全身还很难,短期内Meta可能会为Avatar配备虚拟腿,动作主要靠合成,不原生支持动捕。

尽管如此,Meta这些年来也一直在尝试全身追踪技术研发。比如在2019年F8大会上,就经展示过基于弹幕摄像头的无标记体感追踪方案,特点是可识别骨骼姿态和人体肌肉活动。

近年来随着移动摄像头和计算机视觉技术发展,用手机追踪全身姿态的效果越来越好,即使是单目摄像头取代深度相机,也能追踪人体姿态。比如在Snapchat等平台的AR滤镜已经展现出足够成熟的实时追踪效果,尤其是在AR试穿场景,即使你快速移动四肢,虚拟服装也能实时跟随你移动,边界分割、延迟等方面足够优秀。

就像是目前VR一体机开始支持用手机录制实时MR视频,未来也可以用手机摄像头和算法来实现全身动捕,为用户提供一种追踪模块之外的低成本方案。

除了手机摄像头外,YouTube博主Mysticle利用开源动捕算法和Webcam网络摄像头,也实现了全身定位

VR头显追踪全身

此前,卡内基梅隆大学的科研人员在Quest 2上也进行了一项尝试,即在手柄上集成广角摄像头来追踪四肢和下半身。这项方案只有32%的时间能良好运行。不过,这依然让我们看到更多可能性,比如未来或许可以通过在VR头显或手柄上配备传感器,来实现更完整的追踪体验。

这种方案可能会依赖复杂的算法,需要从扭曲的摄像头数据中提取用户的骨骼节点,同时还要识别姿态遮挡,并避免因超出追踪范围而丢失信号。此外,需要额外的传感器,增加硬件的重量和成本。

从此前曝光的疑似Quest Pro手柄图来看,Meta似乎在研发内置摄像头的手柄设计,或替代现在的手柄追踪环。假如未来VR手柄上真的配备摄像头,也许可以进一步追踪用户下半身。

参考Switch上大火的《健身环大冒险》游戏,你会发现两个手柄足够追踪全身,一个手柄放在Ring-Con健身环上,另一个固定在大腿上,结合IK算法,可推算下半身和上半身的动作。这种方案也有一定缺点,就是难以独立追踪四肢,只能将上半身、下半身同时定位。

它的巧妙之处是,在健身环中内置简单的柔性传感器,可预测双手之间的距离和移动速度/力度。未来,也许VR头显可以随游戏发售额外的配件,补充VR手柄的定位系统,将额外的手柄用来追踪下半身。这种方案的好处不只是使用方便,也可以利用现有的手柄,成本相对较低。

还有哪些趋势

VR头显本身已经有一定价格门槛,为了让更多人用上全身追踪功能,未来VR厂商可能更倾向于采用与VR头显集成,或是基于手机摄像头的方案。目前,Meta Avatar还未支持全身追踪,一方面考虑到相关硬件成本,另一方面是缺少一种成熟可靠的替代方案。上个月Meta CTO Andrew Bosworth表示:正在为Avatar系统添加无物理追踪的虚拟双腿,让我们看到了简易化全身追踪的可能性。

与此同时,苹果、微软等产品生态相对具有优势,比如微软Kinect就是一款不错的C端体感游戏追踪设备,如果与VR结合,也可以很好的实现全身追踪。而苹果,则可以通过iPhone、iPad的LiDAR传感器和相机模组,以及全身追踪算法来实现简易、优质的全身动态追踪,苹果在专利中就曾描述过类似的方案。除此之外,Apple Watch也可以提供额外的手部追踪功能。

( END)

 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  
阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术 VR社交 全身追踪

10688 举报
  0
登录| 注册 后参与评论