Meta为全天候AR眼镜设计了AI系统的八大指导方针-数艺网

资讯: 展览资讯大型展会灯光节大型盛典赛事中标捷报产品快讯热门话题艺术节活动演出新闻数艺报道俱乐部签约

观点: 大咖专访观点洞察书籍推荐吐槽设计观点企业访谈问答趋势创新论文职场方法薪资报价数艺专访

幕后: 幕后故事团队访谈经验分享解密评测数艺访谈

干货: 设计方案策划方案素材资源教程文案资源 PPT下载入门宝典作品合集产品手册电子书项目对接

Meta为全天候AR眼镜设计了AI系统的八大指导方针: 2023-07-07

Esther | 编辑

众所周知，Meta不仅局限在Quest这类VR头显上，同时还在打造更轻量化的AR眼镜，目标就是让产品更好的融入到人们的日常生活中去。除了硬件上轻量化以外，在功能和交互体验上也至关重要，例如自然交互方式，比如手势输入，以及AI视觉助手等，这其中和计算机视觉和AI技术密不可分。

AI技术将会是AR眼镜的重要组成部分，通过实时给用户提供回答和建议等帮助（例如推荐导航路线、甚至日程、根据喜好推荐菜品等）来提升AR眼镜的实用性，将会成为Meta AR眼镜的卖点之一。尤其是，考虑到Meta近年来在AI技术上的投入，我们完全有理由相信这一点。

Reality Labs公布了一项研究：XAIR，从中我们可以了解到AR眼镜中AI系统的设计准则。该框架基于可解释人工智能框架（XAI）和人机交互（HCI）等研究，其中内含8大设计准则，可为AR眼镜的AI设计提供有价值的参考。

什么是XAI？

据青亭网了解，XAI(Explainable AI)又称透明AI(Transparent AI)，特点是行为容易被人所理解。大多数基于机器学习的AI都是在所谓的黑盒中运行，由于无法提供决策背后的原因和见解，此类AI具有一定风险性，因为不确定它是否可信、可靠，是否存在偏见。

XAI的概念可以追溯到四十多年前，后来随着黑盒AI/ML模型的成功，XAI技术开始受到学术业、监管机构等各行各业关注。研究表明，XAI将有望为用户提供清晰的决策，并建立信任。因此在工业领域，已经开始将XAI应用于日常场景，改善用户体验。

XAI可以服务于不同的目标受众，有各种不同的用途。早期的XAI研究仅关注算法开发者、数据科学家，以及临床医疗等领域的专家，而近年来越来越多的XAI开始面向普通用户，与消费级产品集成，比如在购物网站上显示推荐某产品的原因等等。不过，这目前还在早期阶段。

XAI的重要性

想要让AI被人类广泛理解，将涉及多学科研究工作。比如，ML研究人员开发了生成透明模型的算法（例如，决策树、贝叶斯模型），或使用事后解释技术（例如，特征重要性、视觉解释）来生成解释。而HCI研究人员，则专注于提高用户信任度，以及对机器生成解释的理解。另一方面，心理学研究人员从更基本的角度研究XAI，研究人们如何生成、交流和理解。

公开透明的AI也很重要，它符合未来其在AR/VR领域的发展策略。在XAIR研究中，XAI的目的是通过生成细节或理由，来帮助用户清楚、容易理解AI的决策和功能。Meta指出，XAI是AI驱动的交互系统的重要组成部分，未来也会在日常AR应用中起重要作用，辅助用户与可视化的智能服务互动。XAI可以让AR智能系统的行为更好理解，避免意外的AI决策，并培养隐私意识，获得用户的信任。

不过，目前Meta面临的一个难题，是为日常AR应用创建有效的XAI体验。大多数现有的XAI研究侧重于将解释类型和生成技术分类，而没有考虑到日常AR场景的特点，比如用户和上下文产生的感知信息，全天候运行，适应能力好等因素。这些因素不仅可以形成更人性化的解释，还会影响解释接口的设计。

因此，Meta提出了XAIR设计框架，该框架描述了何时、如何解释AR中AI的决策。为了构建XAIR框架，还进行了一场500人实验，目的是收集他们对于AR体验设计的偏好。此外，还参考了12位专家对于AR交互的见解。

本次研究的重点，是确定三点问题：

AI该何时做出解释；
可以解释什么；
如何解释。

先前的研究已经探讨了前两个问题，尽管非针对AR，但还是为XAIR的设计提供了一些有用的信息。

XAI设计指南

Meta认为，如果AR眼镜具备智能服务，那么AI将起到重要作用，比如根据AR眼镜传感器捕捉到的信息，为用户提供基于上下文的建议。除此之外，AI与用户交互需要基于有效的XAI设计，以确保AI决策可靠、值得信赖，从而改善用户体验。

与面向电脑、手机上的现有XAI框架不同，AR的XAI设计需要结合更深层、更丰富的上下文信息（甚至还要考虑用户的状态），因此需要为AR专门重新设计。而且，AR的XAI还需要具有3D感知能力、实时在线，才能应用于日常AR场景，将解释内容与物理空间融合。比如，在推荐食谱时，同时突出用户冰箱中的食材，即根据场景上下文来解释决策。而相比之下，市面上已有的XAI框架并不能满足这些需求。

于是，Meta通过用户调查总结了8大设计指南：

始终生成AI结果，确保用户在需要时可便捷的访问；
不自动触发解释，除非满足2个条件——识别到用户高认知负荷、紧迫感等情况，或是识别到用户惊讶、困惑、不熟悉、不确定等状态；
个性化解释内容需考虑三个因素：系统目标、用户目标和用户画像；
在默认状态，优先考虑为什么解释，并选择简明的解释；
始终提供更详细的解释，可以通过小的提示窗口等，让用户根据需求展开；
默认情况下，采用与AI输出相同的解释方式（除了触觉、音频），一种模态负载高时，则选择另外一种；
内容以文字为主，如果是图片也应尽可能简化、让用户易于理解；
尽可能将解释内容隐秘地嵌入到场景中，若不适合，则可以明显的呈现。

Meta结合设计指南，开发了一些应用案例并在10名设计师中进行验证，结果设计师认为XAIR可为AR的XAI框架设计提供可用的综合参考或帮助，有助于激发设计师的思维和想象力。参与实验的12名最终用户也反馈，XAIR有出色的可用性。

应用案例

在这项研究中，Meta设计了两个演示案例，感兴趣可以来了解一下：

1）当用户在小路上慢跑时，AR眼镜考虑到当下的季节和风景，便为用户显示出附近的地图，建议绕道去附近的路赏樱花。AI可提供的解释包括：风景更好、路线长度合适、适合用户日程安排。解释形式包括文字、樱花图片等等。

2）AR用户在与邻居讨论园艺后回到家，这时AR眼镜会在周围的植物上显示一个“养护”提示，并为用户提供关于植物施肥的说明。这个建议需要用户手动触发，避免其认为AI侵犯隐私，手动触发可以较好的建立信任。此外，AI还可以提示：经过系统扫描，植物的叶子上有异常斑点，表明可能遭受真菌或细菌感染。解释形式除了文字外，也可以在叶子上用AR来标记异常点（文本为明显提示，AR提示则为隐秘式，与场景融合）。

参考：

https://research.facebook.com/publications/xair-a-framework-of-explainable-ai-in-augmented-reality/

（ END）