本文提出了一种基于对抗评估的学习系统评估方法，旨在解决现有强化学习代理评估方法可能会缺失失败情况的问题，通过对抗选择情况进行评估，可大幅缩短评估时间，实验结果表明该方法在可靠性和效率上都有极大的提升。

Dec, 2018

本文针对三种自动驾驶模型，分析了五种对抗性攻击和四种防御方法的效果。实验证明，与分类模型类似，这些模型仍然非常容易受到对抗性攻击，因此实践中应该考虑到这一点。对于系统和中间件构建者，需要同时部署多种防御方法来获得对各种攻击的良好覆盖。同时也需要保护好模型的细节信息，以降低黑盒攻击的效果。如果计算资源允许，则建议使用复杂的架构模型，因为该模型比简单模型更具弹性，更能抵御对抗性攻击。

Feb, 2020

本文提出的自适应评估框架可以通过深度强化学习生成对自动驾驶车辆具有挑战性的敌对环境，应用了集合模型来表示不同本地最优解以及非参数贝叶斯方法来对敌对策略进行聚类，验证表明所生成的敌对环境可以明显降低被测试车辆的性能，通过此方法可以推断所测试车辆的缺陷。

Apr, 2020

本研究分析了自主驾驶车辆轨迹预测的敌对鲁棒性并研究其是否仍可导致安全规划，提出一种新的敌对攻击方法来增加预测误差，并探讨了数据增强和轨迹平滑等可能的缓解技术。

Jan, 2022

本文提出了一种优化型对抗攻击框架，旨在研究基于数据的轨迹预测系统的对抗鲁棒性。通过模拟实验，展示了该攻击框架可以有效地增加不同度量指标的预测误差，甚至可以导致自动驾驶汽车离开道路或与其他车辆碰撞。同时，本文还探讨并提出了一种对抗训练策略来减轻对抗攻击的影响。

Sep, 2022

通过使用离线轨迹来分析自动驾驶车辆的现有行为，并确定找到故障事件的概率的适当阈值，我们提出了一个黑盒测试框架ReMAV。 通过创建行为表示，突出显示可能存在不确定行为的区域，我们的奖励建模技术帮助提高效率，无需进行计算和低效的主动对抗学习技术。 实验结果表明，该框架可用于了解被测试自动驾驶车辆的现有弱点，并只攻击这些区域，从而提高故障事件的发生率。

Aug, 2023

该研究探讨了自动驾驶系统对物理对抗攻击（胶带、涂鸦、照明）的弹性，并通过开发和评估多个机器学习模型，对道路标志和几何形状进行了测试，结果表明迁移学习在提高道路标志分类的可泛化性方面发挥了关键作用。该研究旨在改善自动驾驶车辆中目标分类器的安全性和鲁棒性，减轻对驾驶系统的对抗性示例影响。

Nov, 2023

自动驾驶（AD）系统通常以模块化方式构建和测试，其中使用特定任务的度量标准来衡量不同模块的性能。我们展示了可以构建得分在各种感知质量度量方面非常高，但仍导致规划失败的规划输入，称之为对抗感知错误，并通过使用简单的边界攻击算法在CARLA模拟器中找到了针对两个不同黑盒规划器的攻击，适用于几种城市和高速公路驾驶场景。最后，我们分析了这些攻击的特性，表明它们在规划器的输入空间中是孤立的，并讨论了它们对自动驾驶系统部署和测试的影响。

Nov, 2023

通过在另一辆移动车辆上动态显示对抗性修补程序的屏幕，该研究介绍了一种攻击机制，旨在挑战自动驾驶系统的韧性。这种操纵对决策制定过程的方法对于交叉路口和变道等关键的多车辆交互非常重要，这对安全和高效的自动驾驶系统具有重大影响。

Dec, 2023

本研究调查了在越野自动驾驶领域中，语义分割模型对于对抗性输入扰动的脆弱性。尽管在一般条件下表现良好，但现有的最先进分类器经常容易受到（甚至是）轻微扰动的影响，最终导致高自信度的不准确预测。我们的研究旨在填补这一空白，通过研究非鲁棒特征对越野数据集中的对抗性攻击的影响，并比较不同分割网络架构对对抗性攻击的效果。为实现这一目标，我们创建了一个鲁棒数据集，其中只包含鲁棒特征，并在这个鲁棒化数据集上训练网络。我们对研究结果进行了定性和定量分析，这对于提高越野自动驾驶应用中机器学习模型的鲁棒性具有重要意义。此外，本工作通过评估分割输出的鲁棒性，为Unimog U5023自主机器人在复杂越野无结构环境中的安全导航做出了贡献。该代码公开可用于https://github.com/rohtkumar/adversarial_attacks_on_segmentation。

Feb, 2024