5月18日上午，第十期DISCOVER LAB青年科学家论坛顺利开展。本期活动有幸邀请到了威斯康星大学麦迪逊分校计算机科学系的助理教授、青年科学家赵宇航博士。赵博士为我们进行了题目为Enabling Mixed Reality for Low Vision（面向低视力人群的混合现实技术）的精彩分享。本次活动由清华大学智能产业研究院（AIR）助理研究员龚江涛博士主持。

赵宇航博士首先阐释了标题的两个关键词：Mixed Reality 以及 Low Vision。所谓Mixed Reality（MR，混合现实技术），就是指从真实现实世界到虚拟现实世界之间，能够递进地引入现实世界、Augmented Reality（AR，增强现实）、Augmented Virtuality（AV，增强虚拟）和Virtual Reality（VR，虚拟现实）技术，这些都能够被概括为MR技术，并有着有巨大的科研和产业潜力。

而Low Vision（低视力）人群，即低视力人群，指的是包括所有视觉受损但未达到全盲，且无法通过眼镜等进行视力矫正的群体。低视力人群占视觉障碍群体中的85%以上，Cataract（白内障）、Age Related Macular Degeneration（年龄相关性黄斑变性）、Diabetic Retinopathy（糖尿病视网膜病变）和Glaucoma（青光眼）等都是较典型的造成低视力的疾病。由于低视力人群仍拥有不同程度的可用视力，利用MR技术可以辅助和增强视觉的使用，以提高视障人群生活的安全性及便捷性。

然而，目前的MR技术却普遍没有考虑无障碍设计。因此，赵宇航博士提出了研究问题：如何使用MR技术帮助低视力人群克服现实世界的挑战并实现与虚拟世界的连接。在本期讲座中，赵博士就用以下三个研究成果向我们解答了这个问题。

由于低视力群体存在视觉高度模糊和部分视野缺失等问题，在琳琅满目的货架上搜索特定目标成为了一项费时费力且常会出错的任务。

为了解决低视力人群在视觉搜索过程中面临的挑战，赵博士团队设计并构建了一个头戴式智能MR系统——CueSee，它能通过计算机视觉技术辨识目标物，在视觉搜索任务期间提供视觉提示以引导用户的注意力，从而达到增强其视觉能力的效果。

那么要如何设计有效的视觉指示呢？赵宇航博士提出了三个原则，即可视化吸引注意、不扰乱注意力、满足不同低视力状态，并据此提出了以五种视觉指示方式。

研究1：视觉指示的有效性如何？

赵博士团队邀请12名低视力者参与了视觉搜索实验，并设计了Best Correction与CueSee的对照。实验结果证明，即使在借助放大镜等设备调整到可及的最优视力的状态下，被试仍需逐行搜索，而借助CueSee的搜索效果却大幅提高。

研究2：高保真智能系统将如何影响用户体验？

在本研究中，CueSee系统利用faster R-CNN模型以及有200个样本的训练集，实现了高准确度的物品检测功能。为了达到实时检测并生成提示的效果，CueSee用CSRT tracker做物体追踪，并通过语音识别技术实现与用户的交互。

赵博士团队邀请了7名低视力参与者，采集并比较了他们的搜索时间和搜索准确度。结果表明，CueSee可以显著缩短用户的搜索时间，准确度也提升到了95%。通过本研究，赵博士认为MR技术在应用时应当考虑使用环境，包括低视力群体进行的任务类型以及用户能力等。

楼梯行走是视障群体出行中最危险的任务之一，他们很容易在上下楼梯时摔倒受伤。为了寻找低视力群体在行走楼梯时的痛点问题，赵宇航博士团队观察了14名低视力人在室内外行走楼梯的表现。他们发现低视力群体并不经常使用盲杖，而是喜欢寻找楼梯边缘的对比色条纹进行定位。然而，并不是所有楼梯都有这一设计。

为解决此问题，赵博士团队设计了一个基于投影的 MR 系统--StairLight，它是一个类似手电筒的手持投影设备，通过深度摄像机辨识台阶边缘，在台阶边缘投射视觉亮点以增加台阶的可视程度，从而保障用户在台阶场景下导航的安全性。

此外，他们还发现，第一级和最后一级台阶是最重要但难以定位的，且如果每一级台阶都有撞色条纹会使得部分使用者分心。据此赵博士提出了，要在着重强调首级和末级台阶的同时，将中间台阶的干扰程度最小化的设计方案。

研究：StairLight能够保障低视力人群的安全吗？

在本实验中，赵博士巧妙地结合了Psychological Security（心理安全感）与绿野仙踪实验法，在保障用户的绝对安全的同时，测量了参与者在使用StairLight时的安全性。

实验邀请了12名低视力用户，在室内外环境下进行Typical walking method 与StairLight的对比实验。对心理安全感的评分结果证明，在两种环境下使用StairLight都能显著提升用户行走的安全性。在证明了设计的有效性后，赵博士团队对设计做了技术实现。

赵博士团队还对VR游戏设计改善做了相关研究并发现，现有针对视障群体的VR设计通常使用声音或触觉反馈，但由于这些都是特殊定制，因此视障群体依旧无法和视力正常者一样接触主流的VR产品。

为解决这一问题，赵博士团队针对不同视力受损情况和游戏场景，设计了一组开发者工具包，在游戏开发过程中提供元数据并整合低视力支持工具。其优势在于，它不仅考虑到了不同的低视力状况，具有通用性，而且还能照顾到不同任务需求，能够实现多场景交互。

赵博士邀请了14位低视力参与者体验了这种“加入无障碍辅助的VR游戏”，并设计了Best Correction 与SeeingVR的对比实验。结果表明，参与者在菜单导航、视觉搜索以及目标射击的三个任务中，使用SeeingVR时完成三种任务所需的时间有显著减少。

与此同时，赵博士还邀请了6位Unity的开发者来体验使用工具包，参与者表示这个工具包有效地解决了有无障碍设计的需求但开发者往往缺乏相应经验和知识的问题，提高了开发的便捷性和效率。此工具包已经在GitHub上开源。（https://github.com/microsoft/SeeingVRtoolkit）

在报告最后，赵博士说，未来的技术发展将不会局限于手机。当生活中的所有平面甚至空间都可以交互和投影时，无障碍使用设计将成为残疾人享有和其他人一样的平等访问权力的关键。

Reference:

Zhao, Y., Szpiro, S., Knighten, J., & Azenkot, S. (2016, September). CueSee: exploring visual cues for people with low vision to facilitate a visual search task. In Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing (pp. 73-84).

Zhao, Y., Kupferstein, E., Castro, B. V., Feiner, S., & Azenkot, S. (2019, October). Designing AR visualizations to facilitate stair navigation for people with low vision. In Proceedings of the 32nd annual ACM symposium on user interface software and technology (pp. 387-402).

Zhao, Y., Cutrell, E., Holz, C., Morris, M. R., Ofek, E., & Wilson, A. D. (2019, May). SeeingVR: A set of tools to make virtual reality more accessible to people with low vision. In Proceedings of the 2019 CHI conference on human factors in computing systems (pp. 1-14).