用眼球追踪动态校正VR畸变，看看误差和延迟表现如何-数艺网

资讯: 展览资讯大型展会灯光节大型盛典赛事中标捷报产品快讯热门话题艺术节活动演出新闻数艺报道俱乐部签约

观点: 大咖专访观点洞察书籍推荐吐槽设计观点企业访谈问答趋势创新论文职场方法薪资报价数艺专访

幕后: 幕后故事团队访谈经验分享解密评测数艺访谈

干货: 设计方案策划方案素材资源教程文案资源 PPT下载入门宝典作品合集产品手册电子书项目对接

用眼球追踪动态校正VR畸变，看看误差和延迟表现如何: 原创 2022-08-11

Esther | 编辑

今年6月，Meta Reality Labs公布了一种光学畸变模拟装置，其特点是可测试不同的屏幕和透镜配置，加速VR光学方案迭代。相关阅读：《Tested采访扎克伯格：揭秘四款VR原型机更多细节》。

这种装置具体有什么用呢？我们知道，目前市面上的一些消费级VR头显采用静态畸变校正方案，来优化透镜造成的画面失真，原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变，动态畸变（移动的眼球通过透镜看到的画面畸变）还需要配合眼球追踪技术，来实时校正。然而，现有的眼球追踪技术在准确性、延迟等方面还有待优化，因此即使采用眼球追踪和动态畸变校正算法（DDC），效果也不一定理想。甚至可能会因为眼球追踪系统、校正模型本身的误差而受到限制，部分图像不能得到校正。

因此，为了快速测试不同眼球追踪效率对于VR视觉效果的影响，Meta研发了这一套数字模拟装置，好处是省去了制造光学原型硬件的成本和时间，可以直接在测试中收集使用反馈。

解决哪些痛点

于VR显示技术来讲，光学透镜和屏幕是紧密关联的，因此更换或修改屏幕参数/类型，意味着透镜也需要改变。为了搭配不同类型的显示屏，Meta在VR头显中尝试了各种不同的透镜方案。比如Quest采用菲涅尔透镜、Half Dome 2原型则采用Pancake透镜、Holocake 2原型采用全息+Pancake透镜。

通常，由于光的折射特性，显示屏画面通过透镜会产生一定畸变。目前市面上的一些消费级VR头显采用静态畸变校正方案，即预先将图像扭曲，来补偿光线通过透镜产生的扭曲。但这种校正方式依赖于固定的出瞳位置，比如当人眼和VR头显的相对位置有所变化时，预校正可能会失效（比如出现pupil swim问题）。因此，VR需要一种根据人眼运动变化而适时调整的图像校正算法。而利用软件来模拟整个VR头显光学配置，便可以更好的训练光学畸变校正算法。

方案细节

细节方面，其硬件构成包括：120Hz OLED大屏电视（模拟畸变图像）、与电视同步的主动式快门3D眼镜（营造3D效果），还有一个固定头部的旋转支架。

当使用者将下巴放在支架上时，支架会根据他的头部旋转，来实时更新头部和眼球模型的位置。同时，算法会根据头部和眼球模型来计算前庭眼球反射运动（VOR），并合成对应的图像失真。而为了模拟头显适配度对pupil swim的影响，该方案还可以模拟不同显示屏角度对显示效果的影响，利用倾斜的屏幕来贴合人脸弧度。

Meta指出，这个VR显示系统模拟器可准确模拟任何光学元件组合的视觉失真效果，并通过3D眼镜搭配快速响应屏幕，来实现3D畸变预览。利用数字算法来模拟图像畸变，省去了制造光学原型的过程，可以更好的加速VR显示技术迭代。

用户测试

此外，Reality Labs还使用该模拟器来进行用户调研，让参与者测试并对比不同的光学设计和场景内容，来了解人眼对于光学失真的容忍度，寻找一种人眼可接受的畸变范围。结果发现即使移动头部和眼球造成一定程度的pupil swim，也不会严重影响VR视觉观感。

眼球追踪容忍度对比图

科研人员还利用LFP（光场入口）光场技术构建了一个基础的双目畸变度量标准，可根据用户调研的结果来制定光学设计的基础。光场入口作为一种通用的光学方案表示，主要是用于模拟光学器件内，光在任意角度的传输过程（将入瞳到显示器之间的光线进行映射）。同时，也用来观察人眼的前庭眼反射（VOR）运动，因为VOR运动代表了pupil swim造成的不良影响。而设备采用下巴托和咬合杆来固定头部，并与旋转编码器进行同步，以此来头部和眼球运动在试验中保持一致。

调研结果显示，当眼动追踪错误导致失真低于可检测阈值时，受试者会偶然（50%）识别出失真间隔，并且当眼动追踪错误导致容易检测到的失真时，受试者会以100%的几率识别出失真间隔。可接受的眼动追踪性能由眼动追踪误差值定义，当失真可以在75%的时间内准确识别时。

Pancake透镜采用二次反射面以最小化瞳孔游动，而折射镜片仅包含两个光学表面，通常表现出较大的瞳孔游动。因此，眼动追踪误差预计会对屈光镜片的DDC产生更大的负面影响，但影响程度未知。与折射镜片（绿色和紫色轮廓）相比，Pancake设计（黄色和蓝色轮廓）的眼动追踪要求显著放宽。

眼球追踪延迟的影响

另外，眼球追踪误差会对折射型透镜和动态畸变校正算法产生负面影响。动态畸变校正算法应用于折射型透镜时，在现有的眼球追踪误差基础上，会导致更多误差。

实验显示，Pancake透镜对眼球追踪误差的要求比折射型透镜更低，因为Pancake的结构特点可减少光学模组设计的pupil swim现象。此外还发现，校正文本显示时对眼球追踪效果要求高，高于3D内容显示。经过数千次试验，除了眼球追踪误差外，还需要弥补8毫秒延迟。当眼动追踪误差最小时，可以容忍较大的延迟。

不过，目前这项用户测试还存在局限，比如参与者少，测试的光学架构和场景内容有限。Meta认为，未来通过后续测试可以进一步了解图像畸变的机制，从而优化VR光学元件和畸变校正算法。也会计划在3D眼镜上加入眼球追踪设备，用于测试和优化眼球追踪技术。

参考：

https://tech.fb.com/ar-vr/2022/06/%e9%80%9a%e8%bf%87%e8%a7%86%e8%a7%89%e5%9b%be%e7%81%b5%e6%b5%8b%e8%af%95%ef%bc%9a%e6%88%91%e4%bb%ac%e8%bf%bd%e6%b1%82-vr%e8%a7%86%e8%a7%89-%e9%80%bc%e7%9c%9f%e5%ba%a6%e7%9a%84%e8%83%8c%e5%90%8e/

https://research.facebook.com/publications/perceptual-requirements-for-eye-tracked-distortion-correction-in-vr/

（ END）

每天五分钟，轻松了解前沿科技。
—— 青亭网

阅读原文 * 文章为作者独立观点，不代表数艺网立场转载须知: 本文内容由数艺网收录采集自微信公众号青亭网 ，并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源：数艺网” 并附上本页链接：如您不希望被数艺网所收录，感觉到侵犯到了您的权益，请及时告知数艺网，我们表示诚挚的歉意，并及时处理或删除。

数字媒体艺术新媒体艺术科技艺术 VR

36397