AdvDO:基于实际场景的轨迹预测对抗性攻击
本研究分析了自主驾驶车辆轨迹预测的敌对鲁棒性并研究其是否仍可导致安全规划,提出一种新的敌对攻击方法来增加预测误差,并探讨了数据增强和轨迹平滑等可能的缓解技术。
Jan, 2022
本文介绍了一种在预测自动驾驶系统的轨迹时防御对抗性攻击的方法,该方法包括设计有效的对抗训练方法和添加特定领域的数据增强来减少在净数据上的性能损失。作者通过验证表明,相较于只使用纯净数据训练的模型,该方法在对抗数据上性能提高了 46%,并只降低了 3%的净数据性能。此外,相较于现有鲁棒方法,该方法在对抗样本上的性能提高了 21%,在干净数据上的性能提高了 9%。通过对规划器的评估,研究了我们的鲁棒模型对下游影响,证明该模型可以显著减少严重事故率(例如碰撞和越野驾驶)。
Jul, 2022
通过概率信任模型评估自动驾驶规划程序的鲁棒性,力求帮助研究人员评估机器学习规划器对抗攻击的保护措施。提议评估过程基于敌对性评估,即难度估计对手决定有效诱导不安全行为的条件,展示了该方法在基于基于摄像头的物体检测器的规划保护中的应用。
May, 2022
该研究从激光雷达感知到预测车辆轨迹的角度进行了首次安全分析,提出了一种间接攻击方法,通过对受害者自动驾驶车辆的感知模块进行攻击来诱导轨迹预测错误,以实现可行的、单点式的攻击。实验结果表明,该攻击方法能导致高达 63%的碰撞率和各种危险情况,为自动驾驶的轨迹预测提供了现实的安全威胁。
Jun, 2024
通过使用车辆跟随方法和整合未来轨迹信息,我们提出了一种速度自适应的隐蔽对抗攻击方法(SA-Attack),该方法在模型的敏感区域搜索并生成对抗轨迹,能够适应不同速度场景并保证攻击的隐蔽性。我们在 nuScenes 和 Apolloscape 数据集上进行了实证研究来展示我们提出方法的攻击性能,同时也证明了 SA-Attack 对不同速度场景的适应性和隐蔽性。
Apr, 2024
提出机器学习方法用于交通预测时的防御措施,包括加强动态防御能力和降低模型过拟合;在真实交通数据集上验证其优于其他基线模型的表现,并有效地提高交通预测模型的防御能力。
Jun, 2023
该研究探讨了自动驾驶系统对物理对抗攻击(胶带、涂鸦、照明)的弹性,并通过开发和评估多个机器学习模型,对道路标志和几何形状进行了测试,结果表明迁移学习在提高道路标志分类的可泛化性方面发挥了关键作用。该研究旨在改善自动驾驶车辆中目标分类器的安全性和鲁棒性,减轻对驾驶系统的对抗性示例影响。
Nov, 2023
通过对两个轨迹预测模型 ——Trajectron++ 和 AgentFormer 的敏感性分析,本文发现 Trajectron++ 对最近状态历史时间点的扰动敏感性最高,而 AgentFormer 的扰动敏感性则分布在不同时间点的状态历史中。我们还证明,即使在存在主要敏感性于状态历史扰动的情况下,使用 Fast Gradient Sign Method 制作的难以检测的图像地图扰动也能够显著增加两个模型的预测误差。尽管图像地图可能对两个模型的预测输出有些微的贡献,但这个结果揭示了轨迹预测器对敌对图像扰动并不具备鲁棒性,而是易受图像攻击影响。通过对敏感性结果设计的优化规划器和示例扰动,我们展示了这种脆弱性如何导致车辆在中等行驶速度下突然停车。
Jan, 2024
本文研究了机器学习在交通预测模型中的漏洞,提出了一个实用的敌对空间时间攻击框架,该框架通过迭代渐变引导节点显著性方法来识别受害节点的时间相关集,进而设计一种空间时间渐变下降算法来生成有实值的敌对交通状态,并在两个实际数据集上进行了广泛的实验。结果表明,该攻击框架达到了各种先进空间时间预测模型高达 67.8% 的性能降级,同时展示了在我们提议的攻击训练下的算法的鲁棒性的显著提高。
Oct, 2022