谈谈XR关键技术及VR/AR/MR/XR关系

一、先别被VR/AR/MR/XR搞晕，说说区别

虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）等业务以其三维化、自然交互、空间计算等完全不同于当前移动互联网的特性，被认为将是下一代通用计算平台。自 2012 年谷歌发布 AR 眼镜 Google Glass, 2014 年 Facebook 收购 VR 头显厂商 Oculus 以来，VR/AR 行业历经了 2015 年至 2017 年的创业和资本的狂热，2018 年的行业退潮。随着 2019 年底全球 5G 正式展开部署，VR/AR 作为 5G 核心的商业场景重新被认识和重视，行业重回升势。

2020 年虽然受疫情的影响，全球各生产生活都受到了不同程度的冲击，然而 VR/AR 行业因祸得福，因疫情造成的社交隔离激发了 VR 游戏、虚拟会议、AR 测温等需求爆发。Steam 平台 VR 活跃用户翻倍增长，虚拟会议，云端展览案例层出不穷，当前 VR/AR/MR/XR 各种 *R 概念纷飞，让人眼花缭乱。本期希望能先辨析清楚这几个概念，后续将进一步分析当前的 XR 核心技术，梳理当前应用场景和产业情况，以及展望未来发展。

虚拟现实（Virtual Reality，VR）

概念：VR 是已包装好的视觉、音频场景数字内容的渲染版本。渲染旨在模拟观察者或用户在应用程序定义的范围内移动时尽可能自然地模拟现实世界中的视觉和音频感官刺激。VR 通常（但非必须）要求用户佩戴头部显示器，以模拟的视觉组件完全取代用户的视野，并佩戴耳机，以向用户提供配套的音频。通常还需要在 VR 中对用户进行某种形式的头部和动作跟踪，以便更新模拟的视觉和音频组件，以确保从用户的角度来看，图像和声源与用户的动作保持一致。还可以提供与虚拟现实仿真进行交互的其他手段，但非必须。

发展历程：虚拟现实 VR 为梦想而生，让梦成 “真”。1935 年小说家 Stanley Weinbaum 在小说中描述了一款 VR 眼镜，以眼镜为基础，包括视觉，嗅觉，触觉等全方位沉浸式体验的虚拟现实概念，该小说被认为是世界上率先提出虚拟现实概念的作品。有了方向，接下来就是追梦者的舞台，1957 年，电影摄影师 Morton Heiling 发明了名为 Sensorama 的仿真模拟器，是通过三面显示屏来形成空间感，无比巨大，用户需要坐在椅子上将头探进设备内部，才能体验到沉浸感。

1968 年美国计算机图形学之父、图灵奖获得者 Ivan Sutherland 开发了第一个计算机图形驱动的头盔显示器 The Sword of Damocles（达摩克利斯之剑），如图 1-1 右侧，它同时也是增强现实的雏形。VR 向用户呈现的是和现实环境阻隔的纯虚拟环境，通常以头部显示器的方式，沉浸感优越，因而主要作为娱乐和社交工具进入大众视野，消费级产品层出不穷，当前整个产业已经趋于成熟。

增强现实（Augmented Reality，AR）

概念：AR 是指向用户提供其他信息或人工生成的对象或内容覆盖其当前环境的图像。此类附加信息或内容通常是视觉或听觉的，并且对当前环境的观察可以是直接的，没有中间转换，处理和渲染，或者是间接的，因为它们对环境的感知是通过传感器进行中继的，并且可以得到增强或处理 [1]。人物的第一视角看到的环境仍为现实场景，通过技术手段（显示器、眼镜等）在人眼所见的现实场景中融入虚拟内容，虚拟内容不基于对现实环境的实时理解，只是相对简单的拼凑在一起。

AR 的发展一波三折，从最初的原型开始 AR 就采用先进的光学透视式的显示的方式，但是进展并不顺利，沉寂多年。AR 概念是在 1990 年由波音公司的研究员 Tom Caudell 提出的，随后在 ToB 专业领域崭露头角，比如美国空军研发的虚拟帮助系统，哥伦比亚大学的 KARMA 修理帮助系统等。而增强现实走进大众视野是通过平面显示器（电脑、电视、手机）将现实图像和虚拟物品叠加显示的方式达成的，1998 年 AR 第一次用于直播展示橄榄球比赛进攻黄线，而带来革命的是第一个增强现实 SDK ARToolkit，作为第一个 AR 开源框架被发布，使 AR 技术走出专业的研究机构之中，许多普通程序员也都可以利用它开发自己的 AR 应用。现在有多个 AR 引擎，支持手机应用的开发，使 AR 进入到我们的日常生活，但是通过平面显示器的展现方式沉浸感较低。

所以人们并没有放弃沉浸感更高的穿戴设备的 AR 实现，Google 在 2012 年 6 月推出 Google Glass，但是效果不尽如人意，未能成为精品，时至今日虽有消费级 AR 眼镜的出现，但是成熟度不高，近两年极有可能会有突破。

混合现实（Mixed Reality，MR）

概念：MR 是 AR 的一种高级形式，虚拟元素被融入到物理场景中，目的是提供一种虚拟和现实结合的场景，即这些元素是真实场景的一部分 [1]。在 MR 场景下，大部分虚拟内容基于现实理解而产生，因此比纯虚拟化的场景更具有体验上的真实感。

发展历程：混合现实 MR 是将梦境和现实融合。混合现实出现时间比 VR 和 AR 晚，理解存在争议，尤其是同 AR 的边界较难划分。早在 1994 年，Paul Milgram 和 Fumio Kishino 在论文中提出了混合现实的定义，并利用虚拟连续体（Virtuality Continuum）坐标的形式阐述了三者关系。最初的概念见图 1-5，左侧可理解为人裸眼所见的真实物理世界，随着坐标轴向右，对现实世界的虚拟化（或称数字化）程度逐渐增大，AR 阶段所见的视觉信息仍是现实环境为主，到最右侧就是与现实脱钩，处在完全虚拟化的环境中就是 VR。而从真实世界向完全虚拟化环境 VR 的转变过程，统称为 MR，即现实与虚拟的融合过程。（论文中提到了增强虚拟的概念，目前大众接受度不高，没有形成单独的产品。）

根据这个定义，MR 最初是一个过程的概念，并非特定技术栈，而在此过程中，按照人眼所见现实与虚拟的结合程度，出现了 VR/AR 这样不同体验的产品类别。但是，随着产业的发展，以微软为代表的一些厂商把 MR 定义成 VR/AR 的融合技术，提供将现实场景虚拟化的体验，此时，人眼所见的虚拟场景是基于现实数字化得来的。

微软是这样区分三者的关系的：在物理世界的视频流中叠加图形的体验是“增强现实”。 遮挡视线以呈现数字图像的体验是“虚拟现实”。 在增强现实和虚拟现实之间实现的体验形成了“混合现实”。

相比 AR 主要是实现虚拟的对象直接显示在现实世界的图像上，而 MR 是让虚拟物品不仅仅是作为图像出现在现实世界，而是 “以更逼真的存在的方式” 融入现实世界，或者反过来让现实空间的对象，融入到虚拟空间的方式，打破两个空间的隔离性，两个空间的实体可以互相交互，给人一种浑然一体的体验。技术难度在三者中是最高的。MR 是 AR 的增强，与其说 MR 眼镜，不如说有 MR 功能的 AR 眼镜或者 VR 眼镜更恰当。目前主流市场上也仅有微软 HoloLens 和 Magic Leap 等提供 MR 功能的产品，但都不太成熟。

扩展现实（eXtended Reality，XR）

概念：XR 是指由计算机技术和可穿戴设备生成的所有真实和虚拟组合环境以及人机交互。代表性的形式有 AR，MR 和 VR 以及在他们之间的交叉场景。虚拟级别的范围从部分感官输入 AR 到完全沉浸式 VR。XR 的一个关键方面是人类体验的扩展，尤其是与存在感（以 VR 为代表）和认知的获得（以 AR 为代表）有关 [1]。

发展历程：由于很多时候 MR 和 AR 之间是很难有明确区分的边界，而且三者发展互相有关联技术有交集，因而 2016 年 11 月扩展现实 XR 概念被提了出来，尤其高通对这个概念最为热衷，推出了虚拟现实 / 增强现实一体化的 XR 芯片。根据高通的定义，扩展现实 XR 是一个概括性术语，囊括了增强现实（AR），虚拟现实（VR），混合现实（MR）以及介于他们之间的所有内容。尽管 AR 和 VR 提供了迥然不同的革命性体验，但是相同的基础技术正在推动 XR 的发展。

更早的时候，XR 在视觉领域被提出作为扩展人类可见光谱范围之意，如紫外线红外线等，但是并非和虚拟现实 / 增强现实领域相关的概念，在此不细述。

以上是对XR概念的介绍，后续会对XR的关键技术、应用场景、产业情况以及未来趋势继续讨论。