封硕，清华大学本科、博士（导师为张毅教授），博士毕业后于美国密西根大学进行博士后研究（合作导师为Henry Liu教授），现任美国密西根大学交通研究院Assistant Research Scientist，从事智能无人系统测试与验证理论方法研究，先后在Nature Communications和IEEE Transactions系列汇刊等期刊发表论文数十篇。他曾获IEEE智能交通系统学会“最佳博士学位论文奖”（全球共三人入选）、美国运筹与管理协会“2021年度智能交通系统最佳论文奖”等荣誉。封博士还担任美国工程师学会道路自动驾驶测试与验证委员会委员、中国汽车工程学会《Automotive Innovation》期刊学术编辑，曾担任2021 IEEE IV和2021 ICML等多次国际会议workshop组织者。

过去的一百年间，交通领域经历了数次大变革。在该领域中，当下最热门的变革当属自动驾驶汽车。然而，自动驾驶汽车也面临着巨大的技术挑战：一是罕见事件需要指数数量的数据来训练和验证，二是罕见事件仍然包括生与死的情况，也就是说目前自动驾驶还并不安全。为了使自动驾驶汽车水平能够达到安全范围，我们往往需要累积几千亿英里、甚至万亿级别的测试里程，才能够对其进行有效验证。因此，针对自动驾驶汽车安全性能测试中效率低下的难题，封硕博士等提出了一种自动驾驶汽车智能驾驶智能测试方法：该方法基于大数据，构建了一个名为NADE的、具有“无偏性”和“挑战性”的自动驾驶系统测试评价环境。

本期讲座，封硕博士针对这一方法常见的三个问题，作了详细解答：如何测试一个基于人工智能的驾驶系统？传统方法有怎样的问题？NADE与传统方法相比有何优势？

封硕博士介绍到，对于如何测试和评估自动驾驶汽车，目前还没有达成共识或标准程序。基于人工智能的代理驾驶，对于外部用户来说通常是一个黑盒子，它限制了传统的基于逻辑的软件验证和验证技术的使用。现有的自动驾驶汽车测试使用的最先进的方法是代理-环境框架，采取软件模拟、封闭轨道测试和道路测试相结合的方式。

理想情况下，我们可以用一个矩阵𝑋，把自动驾驶汽车在整个自然驾驶环境中周围交互的，即所有的车辆以及其他的交通参与者，在不同时间的位置、速度、加速度、状态，角色，它的动作等等囊括起来进行描述。其中𝑋𝑖，𝑘表示在第𝑘个时间步长中，第𝑖个车辆的变量（位置和速度），N表示BV数量，T表示总的时间点数量。其中NDE应该具有与现实交通分布相同的分布，即𝑋~𝑃 (𝑋)。但模拟NDE中所有背景车辆的联合状态空间的概率分布需要与真实驾驶环境中的概率分布相一致。由于现实情况比较复杂具有高维性，所以尤其具有挑战性。

对于自动驾驶汽车测试，我们需要以自动驾驶的事故率作为安全性能的平均指标。我们如果想要获得事故率，一个基本的方法就是把自动驾驶汽车放在自然驾驶环境中测试。测试N次，如果发生了M次我们想要的感兴趣事故，那么事故率的估计就是M除以N。其背后的数学原理是一个蒙特卡洛估计，但使用蒙特卡洛方法进行测试具有严重的低效性。

根据兰德公司的数据分析，由于对人类司机来说，事故率非常小（例如，每1亿英里有1.09人死亡），在95%的置信水平下，以不超过20%的相对估计误差构造总体比例的置信区间时，它需要大约88亿英里才能遇到如此多的事故，即使在激进的测试假设下，这也需要数百年的时间。

以上便是自动驾驶汽车的测试面临着维度困境与长尾困境两个挑战。

为了解决以上两个挑战，封硕博士等引入了重要性采样建立一个新的抽样分布，它使得𝑃（𝐴）是一种无偏估计，同时也使得所需的测试次数（或测试里程）小于公共道路测试（更少）。该智能测试方法的数学本质就是如何更好地构建一个重要性函数。而其基本思想，就是把这个自动驾驶环境和对抗驾驶环境进行某种程度上的平衡与融合，形成既有自然性又有对抗性的环境，即NADE。理论上可以证明，在这样一个新的环境里，既能保证测试的无偏性，也能大幅提高测试效率，不仅能够应用在低纬度的单一化、片段化的场景生成问题（如换道场景），也能应用在高维度的多样化、连续化的驾驶环境生成问题（如高速驾驶环境）。

智能测试的关键在于定义了测试关键度评价指标，该指标由manual challenge与exposure frequency相乘得到。manual challenge代表给定场景下自动驾驶汽车发生事故的概率，exposure frequency代表给定场景在自然驾驶环境中的概率。

传统的NDE建模利用了马尔科夫性，假设背景车辆的行为取决于当前的状态与周围车辆的状态，对复杂自动驾驶场景进行建模，但问题的维度越来越高，那么它采样效率会随着问题的维度指数增加。而NADE理论表示如果存在罕见事件关键变量的小子集，对变量的小子集采用重要抽样方法，对其余变量采用粗蒙特卡罗方法。那么方差将随着关键变量的维数而增加，而不是所有变量。

为了解决高维度挑战，NADE利用代理模型生成既有对抗性又有自然性的测试场景库。

上图中，NADE通过关键度指标定义了关键车辆（POV），通过关键车辆出现的时间确定了关键时刻，通过对关键车辆进行调控来实现高效测试。

此外,由于自动驾驶事故可能会发生在未来几秒钟之后，那么在预测自动驾驶行为时就需要有一定的时间后效性。所以，在这里引入了强化学习的方法来计算manual challenge。exposure frequency则通过大规模的自动驾驶数据来得到。找到关键车辆得到关键时刻后，只对关键时刻进行重要性采样，其他所有车辆仍然按照自然驾驶汽车概率进行采样。

以下为NADE总体流程图：

最后通过案例分析与数据对比我们可以得出如下结论：

对于单一、片段化的场景生成（以Cut-in场景为例），基于NADE的智能测试方法具有无偏性和高效性，测试效率提升了十万倍。

对于多样、连续的驾驶环境生成（以高速驾驶环境为例），NADE只需要的测试数，而NDE需要出现的次数。NADE的方法可以加速评估约6000倍，减少约3500万驾驶英里。

此外封硕博士还表示该自动驾驶的智能测试方法已经利用增强现实测试平台进行了实车测试。

报告结束后，现场的老师同学们与封硕博士积极互动、探讨议题。谈及车路协同问题时，封博士表示目前还没有把车路协同的因素考虑到自动驾驶测试中，自动驾驶的测试问题是一个复杂的交叉学科的问题，涉及到车辆工程、人工智能等领域，最关键的是它如何实现复杂的交通环境交互。最后，封硕博士表示欢迎有交叉学科背景的同学聚集到一起，希望更多感兴趣的同学可以加入到这个方向中来。

现场同学参与讨论

参考文献：

[1] Feng, S., Feng, Y., Yu, C., Zhang, Y., & Liu, H. X. (2020). Testing scenario library generation for connected and automated vehicles, Part I: Methodology. IEEE Transactions on Intelligent Transportation Systems, 22(3), 1573-1582.

[2] Feng, S., Feng, Y., Sun, H., Bao, S., Zhang, Y., & Liu, H. X. (2020). Testing scenario library generation for connected and automated vehicles, Part II: Case studies. IEEE Transactions on Intelligent Transportation Systems, 22(9), 5635-5647.

[3] Feng, S., Feng, Y., Sun, H., Zhang, Y., & Liu, H. X. (2020). Testing Scenario Library Generation for Connected and Automated Vehicles: An Adaptive Framework. IEEE Transactions on Intelligent Transportation Systems, DOI: 10.1109/TITS.2020.3023668.

[4] Feng, S., Feng, Y., Yan, X., Shen, S., Xu, S., & Liu, H. X. (2020). Safety Assessment of Highly Automated Driving Systems in Test Tracks: A New Framework. Accident Analysis & Prevention, 144, p. 105664.

[5] Feng, S., Yan, X., Sun, H., Feng, Y., & Liu, H. X. (2021). Intelligent Driving Intelligence Test for Autonomous Vehicles with Naturalistic and Adversarial Environment. Nature Communications, 12, 748.