资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题

原创 2022-09-20

Esther | 编辑

毫无疑问,开发理想的全天候AR眼镜很难,各类行业专家不止一次分析了AR硬件设计的挑战。实际上,打造一款轻量、功能强大的穿戴式眼镜,本身就是在挑战设计极限,你几乎无法满足所有的需求,不得不在分辨率、重量、散热、续航等多方面进行权衡。那么就现在的技术水平,能否开发出有价值的AR眼镜呢?办法就是根据特定应用场景去设计,不需要全能,只要将特定应用场景做好即可。

近期,AR/VR光学专家Karl Guttag在与海外博主SadlyItsBradley的访谈中就指出,目前AR光学市场面临的一个问题是,眼镜厂商、光学供应商致力于突破AR的亮度、分辨率,但实际上更高的显示配置并不是决定AR眼镜好坏的关键。相比之下,寻找AR眼镜的应用场景更加关键,因为AR的用途将决定硬件需要什么样的设计。

另外,厂商在开发AR眼镜时,考虑的是用户的需求,也就是其他人的需求。然而如果从自身出发,才更有可能找到AR的有效用途,因为比起其他人,你更了解自己。如果是为其他人设计AR眼镜这样的穿戴设备,通常目标用户很难明确,甚至可能不存在或是只有一少部分人。

AR眼镜设计难题

在大家的预期中,AR眼镜的外形应该向雷朋墨镜那样小巧,分辨率应该媲美4K OLED电视。然而,现实中的AR眼镜更像是头盔,比如Hololens。Guttag指出,这是因为AR设计面临诸多技术局限:

  1. 1,成本
  2. 2,透光性、畸变、视觉瑕疵;
  3. 3,适眼距(至少25毫米空间才能容纳镜框眼镜);
  4. 4,遮挡视觉能见度,可能引发安全问题(余光或眼前);
  5. 5,横向和纵向FOV、显示面积(25°和50°FOV的显示面积差4倍);
  6. 6,分辨率(PPI、PPD);
  7. 7,眼动范围大小(清晰区域);
  8. 8,视觉亮度(AR虚拟图像的能见度、真实环境的能见度);
  9. 9,对比度(能否显示黑色、AR显示区域与周围环境的融合度);
  10. 10,颜色质量、均匀度、色差;
  11. 11,VAC,视觉辐辏调节冲突以及相关症状(大多数AR眼镜的对焦距离在2米左右,远超用户手臂长度);
  12. 12,尺寸、重量、外形、重量分布(鼻梁、耳后可长时间承重50g以内、固定头带会带来其他舒适度问题);
  13. 13,安全性(尤其是玻璃材质的光波导,是否抗摔,会不会破碎伤眼睛);
  14. 14,适应不同的头型和面部结构;
  15. 15,耗电量、续航(电池大小/重量和散热之间的权衡);
  16. 16,覆盖完整的IPD调节;
  17. 17,用户的环境感知能力(安全性);
  18. 18,社交问题(摄像头数据隐私、外观是否奇怪、AR眼镜漏光等等);
  19. 19,计算和数据传输(店员、尺寸和中来那个之间的权衡);
  20. 20,耐用性,是否抗摔,是否有防护措施;
  21. 21,便携性(能否支持全天候使用,能否放在随身口袋);
  22. 22,视力调节。

上述这些挑战不按顺序排列,通常在设计AR眼镜时不仅要考虑这些问题,还会发现解决一个问题后,可能会造成其他的问题。此外,还存在光学难题:可见光的波长是固定的,而像素是光波长的整数倍。通常,AR显示系统的像素密度比VR更大,需要更多像素。相比于VR,AR更难显示出纯黑色,只能透出周围环境中的黑色。此外,AR眼镜的屏幕布局、光路比VR更复杂,不能直接将屏幕摆在人眼前面,否则会遮挡视线。另外,AR眼镜的显示模组通常比VR更靠近人眼,这意味着将需要额外的对焦系统。更重要的是,需要解决体积、功耗的问题。

Guttag认为,过于追求虚实结合的效果,可能效果并不理想,甚至同时影响AR和物理环境透视的效果。

由此可见,开发AR眼镜是一种长期、复杂的权衡过程,目前没有一个完美的方案,只能根据实际应用场景去舍取和搭配合适的配置、性能。

配置匹配应用场景

目前,AR在B端已经找到一些应用场景,比如军事、医疗、仓库、展厅、导航。不同的AR场景对于体验和功能有不同的需求,一些关键需求包括无手柄交互、室内外均可清晰显示的高亮度。

分辨率方面,Guttag认为40ppd(1.5角分/像素)是分辨率的一个甜蜜值,对于大多数用于已经足够(人眼视网膜分辨率为60PPD)。分辨率过低不仅画质粗糙,文字显示能力也差,不得不放大字体才能看清,但这也意味着可阅读速度变慢。而分辨率过高,实际上并不一定实用,因为显示屏尺寸会随之变大,眼镜整体变重,长时间佩戴体验感不够舒适。Meta推出的智能眼镜RayBan Stories并没有配备AR显示模块,但整机要比普通眼镜要重不少。尤其是对于全天候佩戴的AR眼镜来讲,重量的权衡非常关键。

FOV方面,Guttag认为纵向在30到40°就足够,超出这个范围可能会让人产生视觉疲劳。Magic Leap 2在此前基础上扩展了纵向视场角,不过Guttag认为AR显示区域应该更宽一些而不是更高,而且视线下方是关键显示区域,因为人眼并不常向上看,而是更容易向下看。

同时,扩大AR显示区域不仅是为了沉浸感,也是为了避免用户看到屏幕和真实环境之间明显的边界。这也是AR与VR一个明显区别,理想的VR是覆盖人眼全部可视区域,而AR则是追求将虚拟图像与周围环境融合,足够透视又足够沉浸。与此同时,AR图像需要足够清晰,显示的色彩足够纯,而不是模棱两可、饱和度低。

而对于工业、企业级AR场景,通常只需要准确的SLAM定位和清晰的AR指示就能满足需求,而且需要避免UI阻挡视线,如果AR菜单太大,可能会让人看不到自己的手,那么执行任务反而会更困难。在很多场景,AR并不需要照片级保真的画质,仅显示清晰的文字就足够有效。

尽管如此,AR行业依然在尝试解决上述挑战,一方面是害怕错过机遇,想要赶在竞争者之前突破技术局限,从而抢占市场。在人们的预期中,理想的AR眼镜应该具有iPhone的质量,并拥有强大、全面的功能,这也是AR从业者的最大愿景。

在PC、手机领域,Meta并没有自己的平台,因此Meta希望抢滩AR,打造像安卓、iOS那样的平台。Guttag认为,相比于苹果,扎克伯格似乎更相信AR/VR的未来,而苹果更像是为了顺应当下的趋势,在技术上预先打好基础,然而实际上对AR/VR硬件依然抱有怀疑。

光学透视(OST)和视频透视(VST)

为了“绕开”光学透视AR眼镜的技术局限,Meta等厂商开始研发基于视频透视的AR头显设计。对此Guttage认为,光学透视的一些难题在视频透视上得到很好的解决,但相比之下视频透视依然存在一些局限。

视频透视AR的优点:

  • 理论上AR画质更好;
  • 色彩饱和度更高,与物理环境光的对比度更高,可实现更好的AR遮挡;
  • 光学结构更简单、成本更低;
  • 不需要过多考虑透光率、亮度问题,更省电;

视频透视AR缺点:

  • 环境透视基于摄像头,视觉焦点是固定的;
  • 透视图像不具备媲美真实环境的HDR观感;
  • 摄像头透视比肉眼直接看真实环境分辨率低;
  • 存在运动到图像延迟,当用户移动头部或是周围环境出现变化时,视频透视画面会经历一段延迟才会对应更新(延迟时间包括摄像头捕捉、图像处理、传感器计算等步骤);
  • 透视摄像头与人眼所在位置不匹配,通常透视摄像头位于VR头显两侧,位置间距超过人眼IPD,因此透视效果并不自然,可能引起运动风险、头痛、眩晕等安全问题;可通过高端的眼球追踪和计算技术来优化;
  • 余光视觉和环境光问题:如果开放头显两侧,允许用户用余光看到周围环境,那么安全性会更好,但可能会影响AR/VR显示效果和亮度。

在理想的情况下,AR图像应该完全遮挡背后的光。在Magic Leap 1、HoloLens 2等AR头显上,AR图像看起来并不是实色,会透过环境光,因此仔细看并不自然。在真实场景中,当一个物体遮挡住后方的物体或景色,人眼从正面就看不到后面,除非遮挡物具有一定透明度,比如玻璃材质。在移动端AR应用中,你可以看到AR图像以实色遮挡住物理环境(透视视频数据),同样基于摄像头方案的透视AR也可以达到这样的效果。

另外,也可以通过调暗背景来降低AR透光率,从视觉上增强AR的饱和度,但这种方式下AR图像的边缘并不够清晰。此外,这将需要使用偏振光方案,而偏振光模组的光损大约可达到60%。

另一方面,由于真实场景中包含了无限个深度和焦点,你可以想象这种物理空间由无数颗像素组成,其像素数量远超AR头显的屏幕。当AR屏幕用深色像素遮挡物理背景时,实际上每颗像素会挡住100颗真实像素(AR屏幕的像素比真实空间的像素大100倍),因此遮挡效果并不精确。实际上,当开启背景调光模式,你会看到AR周围有一圈深色的光晕,这种光晕看起来比较模糊,而且边界并不清晰,甚至可能会遮住不该遮挡的光线。Guttag称,这种技术常被成为边缘模糊遮挡。

不过从经验来看,目前光学AR几乎无法实现边缘清晰的遮挡。亚利桑那大学的科研人员在从事相关研究,不过目前仅能在一个焦点平面上实现AR遮挡,而且光学结构相当复杂。

Guttag表示:大家觉得视频透视是一项简单的技术,其结构和原理比光学透视更简单,但实际上视频透视也存在技术局限。比如用摄像头透视真实环境其实并不理想,因为通常VR头显的摄像头并不具备人眼级别的HDR、动态变焦,所以透视图像和肉眼看真实环境有差距。而且摄像头的位置和人眼IPD并不匹配。

Steve Mann在2013年的一篇论文中就提到,将视频透视系统的摄像头居中很重要。据悉,Mann从1978年就开始使用计算机眼镜,到现在已经有44年之久,他常用的AR眼镜是基于单目透视的方案。

Mann表示:通常,视频透视的摄像头靠近人眼,但和人眼的视角依然有差距,这种位置差距长期来看会让体验感不自然,即使用户摘下AR眼镜,这种不舒适也会持续。也就是说,即使只为一只眼睛提供视频透视,也还是给Mann带来了不理想的体验。

Guttag指出,VR头显的厚度越大,摄像头与人眼的距离越大,而摄像头捕捉到的画面也会越不自然。这也是为什么Lynx选择将机身做的很薄。理想的情况是,为透视摄像头配备6DoF平衡器,让摄像头跟人眼同步运动,如果你转动眼球,摄像头也会追随眼球的注视点。

单一焦点方面,Guttag认为也许在50年到100年后,视频透视AR系统可配备多颗低延迟光场相机、光场显示屏,来实现支持高动态变焦的透视效果。总之,在VR中透视周围物理环境的技术,还需要很长的发展阶段。

关于透视头显Lynx

另外,Guttag也担忧Lynx的商业模式,因为Lynx VR头显的特殊光学模组并非自主生产,而是采用了Limbak的ThinEyes透镜方案。这种光学结构需要显示屏渲染四份几乎相同的图像,浪费了显示屏的总像素。Guttag认为,Lynx实际上也可以采用Pancake透镜,不需要依赖现有的光学模组。

而且Lynx的光学效率不够高,大部分显示屏都用来实现视频透视,但现实效果不够理想,牺牲了大量的分辨率。实际上,从官方展示的实拍图中,也能看到闪烁的深色噪点、而且整体会出现失焦的情况。这是因为摄像头的分辨率比Lynx屏幕的最大分辨率要低。

视频透视AR的遮挡能力好,但是与环境、物体融合能力弱,比如手位于AR前方时,头显系统需要计算出手的轮廓/边界,才能虚实融合,但目前混合现实计算还不够理想。如果手移动速度过快,可能会看到明显的延迟。另外,透视AR的视差可能也会与肉眼有所差异。

潜在应用场景

Guttag并不看好视频透视AR的市场前景,现在视频透视的流行趋势主要是受苹果、Meta等巨头之间的竞争驱动。他甚至将视频透视头显与马斯克的超级高铁Hyperloop概念相比,暗示这项技术远没有想象中那么实际,甚至从理论上无法达到理想状态。

总之,Guttag认为视频透视不会成为成功的AR产品,它始终是VR(具有部分AR功能的VR)。也就是说视频透视AR不能解决光学透视AR面临的技术难题。如果说,未来视频透视AR游戏想要获得成功,将需要考虑到游戏体验所在的空间,将不同空间的特点与游戏内容融合,而不只是将3D游戏设计在墙面上。此外,还需要考虑当用户在移动过程中,空间背景的动态变化,以及空间中的障碍物。

参考:

https://www.youtube.com/watch?v=lvJ1WmWYCdE

( END)

 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  
阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 科技艺术 AR眼镜 VST

10021 举报
  0
登录| 注册 后参与评论