
—— 青亭网

分享
原创 2022-08-11
Esther | 编辑
今年6月,Meta Reality Labs公布了一种光学畸变模拟装置,其特点是可测试不同的屏幕和透镜配置,加速VR光学方案迭代。相关阅读:《Tested采访扎克伯格:揭秘四款VR原型机更多细节》。
这种装置具体有什么用呢?我们知道,目前市面上的一些消费级VR头显采用静态畸变校正方案,来优化透镜造成的画面失真,原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变,动态畸变(移动的眼球通过透镜看到的画面畸变)还需要配合眼球追踪技术,来实时校正。然而,现有的眼球追踪技术在准确性、延迟等方面还有待优化,因此即使采用眼球追踪和动态畸变校正算法(DDC),效果也不一定理想。甚至可能会因为眼球追踪系统、校正模型本身的误差而受到限制,部分图像不能得到校正。
因此,为了快速测试不同眼球追踪效率对于VR视觉效果的影响,Meta研发了这一套数字模拟装置,好处是省去了制造光学原型硬件的成本和时间,可以直接在测试中收集使用反馈。
解决哪些痛点
于VR显示技术来讲,光学透镜和屏幕是紧密关联的,因此更换或修改屏幕参数/类型,意味着透镜也需要改变。为了搭配不同类型的显示屏,Meta在VR头显中尝试了各种不同的透镜方案。比如Quest采用菲涅尔透镜、Half Dome 2原型则采用Pancake透镜、Holocake 2原型采用全息+Pancake透镜。
通常,由于光的折射特性,显示屏画面通过透镜会产生一定畸变。目前市面上的一些消费级VR头显采用静态畸变校正方案,即预先将图像扭曲,来补偿光线通过透镜产生的扭曲。但这种校正方式依赖于固定的出瞳位置,比如当人眼和VR头显的相对位置有所变化时,预校正可能会失效(比如出现pupil swim问题)。因此,VR需要一种根据人眼运动变化而适时调整的图像校正算法。而利用软件来模拟整个VR头显光学配置,便可以更好的训练光学畸变校正算法。
方案细节
细节方面,其硬件构成包括:120Hz OLED大屏电视(模拟畸变图像)、与电视同步的主动式快门3D眼镜(营造3D效果),还有一个固定头部的旋转支架。
当使用者将下巴放在支架上时,支架会根据他的头部旋转,来实时更新头部和眼球模型的位置。同时,算法会根据头部和眼球模型来计算前庭眼球反射运动(VOR),并合成对应的图像失真。而为了模拟头显适配度对pupil swim的影响,该方案还可以模拟不同显示屏角度对显示效果的影响,利用倾斜的屏幕来贴合人脸弧度。
Meta指出,这个VR显示系统模拟器可准确模拟任何光学元件组合的视觉失真效果,并通过3D眼镜搭配快速响应屏幕,来实现3D畸变预览。利用数字算法来模拟图像畸变,省去了制造光学原型的过程,可以更好的加速VR显示技术迭代。
用户测试
此外,Reality Labs还使用该模拟器来进行用户调研,让参与者测试并对比不同的光学设计和场景内容,来了解人眼对于光学失真的容忍度,寻找一种人眼可接受的畸变范围。结果发现即使移动头部和眼球造成一定程度的pupil swim,也不会严重影响VR视觉观感。
眼球追踪容忍度对比图
科研人员还利用LFP(光场入口)光场技术构建了一个基础的双目畸变度量标准,可根据用户调研的结果来制定光学设计的基础。光场入口作为一种通用的光学方案表示,主要是用于模拟光学器件内,光在任意角度的传输过程(将入瞳到显示器之间的光线进行映射)。同时,也用来观察人眼的前庭眼反射(VOR)运动,因为VOR运动代表了pupil swim造成的不良影响。而设备采用下巴托和咬合杆来固定头部,并与旋转编码器进行同步,以此来头部和眼球运动在试验中保持一致。
调研结果显示,当眼动追踪错误导致失真低于可检测阈值时,受试者会偶然(50%)识别出失真间隔,并且当眼动追踪错误导致容易检测到的失真时,受试者会以100%的几率识别出失真间隔。可接受的眼动追踪性能由眼动追踪误差值定义,当失真可以在75%的时间内准确识别时。
Pancake透镜采用二次反射面以最小化瞳孔游动,而折射镜片仅包含两个光学表面,通常表现出较大的瞳孔游动。因此,眼动追踪误差预计会对屈光镜片的DDC产生更大的负面影响,但影响程度未知。与折射镜片(绿色和紫色轮廓)相比,Pancake设计(黄色和蓝色轮廓)的眼动追踪要求显著放宽。
眼球追踪延迟的影响
另外,眼球追踪误差会对折射型透镜和动态畸变校正算法产生负面影响。动态畸变校正算法应用于折射型透镜时,在现有的眼球追踪误差基础上,会导致更多误差。
实验显示,Pancake透镜对眼球追踪误差的要求比折射型透镜更低,因为Pancake的结构特点可减少光学模组设计的pupil swim现象。此外还发现,校正文本显示时对眼球追踪效果要求高,高于3D内容显示。经过数千次试验,除了眼球追踪误差外,还需要弥补8毫秒延迟。当眼动追踪误差最小时,可以容忍较大的延迟。
不过,目前这项用户测试还存在局限,比如参与者少,测试的光学架构和场景内容有限。Meta认为,未来通过后续测试可以进一步了解图像畸变的机制,从而优化VR光学元件和畸变校正算法。也会计划在3D眼镜上加入眼球追踪设备,用于测试和优化眼球追踪技术。
参考:
https://tech.fb.com/ar-vr/2022/06/%e9%80%9a%e8%bf%87%e8%a7%86%e8%a7%89%e5%9b%be%e7%81%b5%e6%b5%8b%e8%af%95%ef%bc%9a%e6%88%91%e4%bb%ac%e8%bf%bd%e6%b1%82-vr%e8%a7%86%e8%a7%89-%e9%80%bc%e7%9c%9f%e5%ba%a6%e7%9a%84%e8%83%8c%e5%90%8e/
https://research.facebook.com/publications/perceptual-requirements-for-eye-tracked-distortion-correction-in-vr/
( END)
* 文章为作者独立观点,不代表数艺网立场转载须知
广告 欺诈 淫秽 色情 侵权 骚扰、辱骂、歧视 敏感 违法 犯罪 反动、政治 其它
数艺网是一个信息获取、分享及传播的平台,我们尊重和鼓励数艺网用户创作的内容,认识到保护知识产权对数艺网生存与发展的重要性,承诺将保护知识产权作为数艺网运营的基本原则之一。
本条款原则如下:
1. 用户在数艺网上发表的全部原创内容(包括但不仅限于文章、案例/项目和评论),著作权均归用户本人所有。用户可授权第三方以任何方式使用,不需要得到数艺网的同意。
2. 数艺网上可由多人参与编辑的内容,包括但不限于案例/作品的认领、企业/机构的认领,所有参与编辑者均同意,相关知识产权归数艺网所有。
3. 数艺网提供的网络服务中包含的标识、版面设计、排版方式、文本、图片、图形等均受著作权、商标权及其它法律保护,未经相关权利人(含数艺网及其他原始权利人)同意,上述内容均不得在任何平台被直接或间接发布、使用、出于发布或使用目的的改写或再发行,或被用于其他任何商业目的。
4. 为了促进知识的分享和传播,用户将其在数艺网上发表的全部内容,授予数艺网免费的、不可撤销的、非独家使用许可,数艺网有权将该内容用于数艺网各种形态的产品和服务上,包括但不限于网站以及发表的应用或其他互联网产品。
5. 第三方若出于非商业目的,将用户在数艺网上发表的内容转载在数艺网之外的地方,应当在作品的正文开头的显著位置注明原作者姓名(或原作者在数艺网上使用的帐号名称),给出原始链接,注明「发表于数艺网」,并不得对作品进行修改演绎。若需要对作品进行修改,或用于商业目的,第三方应当联系用户获得单独授权,按照用户规定的方式使用该内容。
6. 数艺网为用户提供「保留所有权利,禁止转载」的选项。除非获得原作者的单独授权,任何第三方不得转载标注了「禁止转载」的内容,否则均视为侵权。
7. 在数艺网上传或发表的内容,用户应保证其为著作权人或已取得合法授权,并且该内容不会侵犯任何第三方的合法权益。如果第三方提出关于著作权的异议,数艺网有权根据实际情况删除相关的内容,且有权追究用户的法律责任。给数艺网或任何第三方造成损失的,用户应负责全额赔偿。
8. 如果任何第三方侵犯了数艺网用户相关的权利,用户同意授权数艺网或其指定的代理人代表数艺网自身或用户对该第三方提出警告、投诉、发起行政执法、诉讼、进行上诉,或谈判和解,并且用户同意在数艺网认为必要的情况下参与共同维权。
9. 数艺网有权但无义务对用户发布的内容进行审核,有权根据相关证据结合《侵权责任法》、《信息网络传播权保护条例》等法律法规及数艺网社区管理规定对侵权信息进行处理。
侵权举报
1.处理原则
数艺网作为新媒体艺术领域的分享交流平台,高度重视自由表达和个人、机构正当权利的平衡。依照法律规定删除违法信息是数艺网社区的法定义务,数艺网社区亦未与任何中介机构合作开展此项业务。
2.受理范围
受理数艺网社区内侵犯机构或个人合法权益的侵权举报,包括但不限于涉及个人隐私、造谣与诽谤、商业侵权。
a.涉及个人隐私:发布内容中直接涉及身份信息,如个人姓名、家庭住址、身份证号码、工作单位、私人电话等详细个人隐私;
b.造谣、诽谤:发布内容中指名道姓(包括自然人和机构)的直接谩骂、侮辱、虚构中伤、恶意诽谤等;
c.商业侵权:泄露机构商业机密及其他根据保密协议不能公开讨论的内容。
3.举报条件
用户在数艺网发表的内容仅表明其个人的立场和观点,并不代表数艺网的立场或观点。如果个人或机构发现数艺网上存在侵犯自身合法权益的内容,可以先尝试与作者取得联系,通过沟通协商解决问题。如您无法联系到作者,或无法通过与作者沟通解决问题,您可通过点击内容下方的举报按钮来向数艺网平台进行投诉。为了保证问题能够及时有效地处理,请务必提交真实有效、完整清晰的材料,否则投诉将无法受理。您需要向数艺网提供的投诉材料包括:
a. 权利人对涉嫌侵权内容拥有商标权、著作权和/或其他依法可以行使权利的权属证明,权属证明通常是营业执照或组织机构代码证;
b. 完整填写的通知书;附供下载的:侵权投诉通知书;
c. 举报人的身份证明,身份证明可以是身份证或护照;
d. 如果举报人非权利人,请举报人提供代表权利人进行举报的书面授权证明。
e. 为确保投诉材料的真实性,在侵权举报中,您还需要签署以下法律声明:
(1) 我本人为所举报内容的合法权利人;
(2) 我举报的发布在数艺网社区中的内容侵犯了本人相应的合法权益;
(3) 如果本侵权举报内容不完全属实,本人将承担由此产生的一切法律责任,并承担和赔偿数艺网因根据投诉人的通知书对相关帐号的处理而造成的任何损失,包括但不限于知乎因向被投诉方赔偿而产生的损失及数艺网名誉、商誉损害等。
4.处理流程
出于网络平台的监督属性,并非所有申请都必须受理。数艺网自收到举报的七个工作日内处理完毕并给出回复。处理期间,不提供任何电话、邮件及其他方式的查询服务。 出现数艺网已经删除或处理的内容,但是百度、谷歌等搜索引擎依然可以搜索到的现象,是因为百度、谷歌等搜索引擎自带缓存,此类问题数艺网无权也无法处理,因此相关申请不予受理。您可以自行联系搜索引擎服务商进行处理。 此为数艺网社区唯一的官方侵权投诉渠道,暂不提供其他方式处理此业务。 用户在数艺网中的商业行为引发的法律纠纷,由交易双方自行处理,与数艺网无关。
免责申明
1.数艺网不能对用户发表的回答或评论的正确性进行保证。
2.用户在数艺网发表的内容仅表明其个人的立场和观点,并不代表数艺网的立场或观点。作为内容的发表者,需自行对所发表内容负责,因所发表内容引发的一切纠纷,由该内容的发表者承担全部法律及连带责任。数艺网不承担任何法律及连带责任。
3.数艺网不保证网络服务一定能满足用户的要求,也不保证网络服务不会中断,对网络服务的及时性、安全性、准确性也都不作保证。
4.对于因不可抗力或数艺网不能控制的原因造成的网络服务中断或其它缺陷,数艺网不承担任何责任,但将尽力减少因此而给用户造成的损失和影响。
协议修改
1.根据互联网的发展和有关法律、法规及规范性文件的变化,或者因业务发展需要,数艺网有权对本协议的条款作出修改或变更,一旦本协议的内容发生变动,数艺网将会直接在数艺网网站上公布修改之后的协议内容,该公布行为视为数艺网已经通知用户修改内容。数艺网也可采用电子邮件或私信的传送方式,提示用户协议条款的修改、服务变更、或其它重要事项。
2.如果不同意数艺网对本协议相关条款所做的修改,用户有权并应当停止使用数艺网。如果用户继续使用数艺网,则视为用户接受数艺网对本协议相关条款所做的修改。
阅读并同意此认领协议方可认领案例
*认领案例的操作记录无法自行删除,请务必确保您参与该案例身份的真实性