Nov, 2023

评估易变模拟器对自动驾驶系统测试的影响

PDF
TL;DR自动驾驶系统模拟器的不稳定性会导致测试结果不一致，本研究通过研究两个关键问题：（1）不稳定模拟对基于随机算法的自动化测试的影响如何？（2）机器学习是否能够有效识别不稳定的测试并减少测试重新运行的次数？实证结果表明：自动驾驶系统测试的不稳定性普遍存在，并且能够显著影响基于随机算法的测试结果。此外，我们的机器学习分类器在只进行一次测试时能够有效识别不稳定的测试，在三个不同的自动驾驶系统测试中分别达到了 85％，82％和 96％的 F1 分数。我们的分类器在 F1 分数表现方面明显优于非机器学习基准模型，性能分别提高了 31％，21％和 13％。最后，我们对研究的范围、意义和局限性进行了讨论，并提供了完整的代码复制包。
simulatorsautonomous driving systemsflaky simulationsmachine learning classifiersads test setups
发现论文，激发创造
  • 基于仿真的带机器学习组件的自动驾驶车辆对抗测试生成

    本文针对包含机器学习组件的自动驾驶系统，提出了一个测试框架，利用测试用例生成和自动实现方法进行评估，并演示了如何使用覆盖数组等测试用例生成方法以及需求实现方法来自动识别问题情景，从而提高自动驾驶系统的可靠性。

    Apr, 2018

  • 自适应压力测试模拟中的有效自主验证

    为了解决使用 DRL solver 的这两个主要问题，我们使用了循环神经网络，该神经网络具有连续空间中的一组初始条件，并且可以跨越整个初始条件空间进行推广，从而使得解决方案具有鲁棒性和高效性。

    Jul, 2019

  • 自主驾驶代理在 Carla 模拟器中的攻击与故障注入 -- 经验报告

    本文阐述了自动驾驶中机器学习应用在大多数驾驶任务中的基础地位，但加入训练有素的代理会使车辆暴露于新型攻击和故障，从而对驾驶任务构成安全威胁；文章实验研究了在驾驶模拟器中注入对抗攻击和软件故障对自主代理的影响，指出对训练有素的代理进行攻击注入和故障注入可能导致错误决策从而严重危及安全。本文提出了一个可行且易于重现的方法，基于开源模拟器和工具，并且旨在明显地促进保护措施和广泛的测试活动的必要性。

    Feb, 2022

  • 自动驾驶车辆安全的高效黑盒评估

    研究实施了一种模拟测试框架来评估自动驾驶汽车系统的性能，并采用自适应重要性抽样方法加速稀有事件概率评估，评估了 Comma AI 的 OpenPilot，对自主车辆技术的测试和验证提出了新的方法。

    Dec, 2019

  • 通过罕见事件模拟实现可扩展的自动驾驶汽车端到端测试

    开发了一种模拟框架，使用深度学习感知和控制算法来测试现代自动驾驶系统，通过自适应重要性采样方法来估计基于标准交通行为的意外概率，相对于蒙特卡洛抽样，可以提速 2-20 倍，并且比真实道路测试快 10-300 倍（P 为处理器数量）。

    Oct, 2018

  • 退出仿真：实现大规模强健和韧性自主车辆的道路

    利用模拟系统开发自动驾驶技术，以实现真实世界操作中的鲁棒性。

    Oct, 2022

  • 自主车辆的自适应应力测试

    本文提出了一种测试自动驾驶汽车决策制定系统的方法，该方法使用强化学习算法找到最可能发生故障的场景，通过模拟车辆接近人行横道的情况证明了该方法的通用性。

    Feb, 2019

  • SAVME: 使用元学习实现自主系统的高效安全验证

    我们提出了一种贝叶斯方法，将元学习策略与多臂老虎机框架相结合，以加速自动系统的故障检测、减少模拟运行时间，并通过学习参数和准确模拟的分布来评估新场景中的学习速度。通过在先进的 3D 驾驶模拟器中应用 16 个保真设置来展示我们的方法，以评估基于自动化车辆事故前个体的各种场景，结果表明与仅依赖于高保真模拟器的传统方法相比，我们的方法加快了模拟速度，最多高出 18 倍。

    Sep, 2023

  • 深度强化学习对恶劣车库场景生成的研究

    自主车辆需要行驶超过 110 亿英里以确保其安全性。因此，在进行真实世界测试之前进行模拟测试的重要性是不言而喻的。近年来，以 Carla 和 CarSim 为代表的自主驾驶三维模拟器的发布，标志着自主驾驶模拟测试环境从简单的 2D 俯视图过渡到复杂的三维模型。本论文提出了一个基于深度强化学习的自动生成程序的框架，该框架可以生成不同的二维地面脚本代码，用于构建三维模型文件和地图模型文件。生成的三维地面场景在 Carla 模拟器中显示，实验者可以使用该场景进行导航算法模拟测试。

    Jul, 2024

  • 自主驾驶汽车的正式场景测试：从仿真到现实世界

    本文提出了一种基于形式化方法的智能汽车自动场景测试的新方法，结合仿真和实际测试，并通过实验验证形式化仿真可以有效识别可在跑道上运行的测试用例，仿真和真实世界之间的差距可以得到系统评估和弥合。

    Mar, 2020