Feb, 2024

评估离线自主驾驶分割对抗攻击的鲁棒性：基于数据集的分析

PDF
TL;DR本研究调查了在越野自动驾驶领域中，语义分割模型对于对抗性输入扰动的脆弱性。尽管在一般条件下表现良好，但现有的最先进分类器经常容易受到（甚至是）轻微扰动的影响，最终导致高自信度的不准确预测。我们的研究旨在填补这一空白，通过研究非鲁棒特征对越野数据集中的对抗性攻击的影响，并比较不同分割网络架构对对抗性攻击的效果。为实现这一目标，我们创建了一个鲁棒数据集，其中只包含鲁棒特征，并在这个鲁棒化数据集上训练网络。我们对研究结果进行了定性和定量分析，这对于提高越野自动驾驶应用中机器学习模型的鲁棒性具有重要意义。此外，本工作通过评估分割输出的鲁棒性，为 Unimog U5023 自主机器人在复杂越野无结构环境中的安全导航做出了贡献。该代码公开可用于 https://github.com/rohtkumar/adversarial_attacks_on_segmentation。
semantic segmentation modelsadversarial input perturbationsoff-road autonomous drivingrobust featuresadversarial attacks
发现论文，激发创造
  • 自主驾驶实时语义分割模型的现实世界的对抗鲁棒性

    该研究评估并提出改进方法，以提高当受到数字、模拟和实际的对抗性补丁攻击时，对语义分割模型的稳健性。研究结果表明，尽管对抗效果在数字和真实攻击中可见，但其影响通常局限于图像周围的补丁区域，这就打开了进一步探讨实时语义分割模型的空间鲁棒性的问题。

    Jan, 2022

  • 评估自动驾驶语义分割在面对真实世界对抗性补丁攻击时的鲁棒性

    本文通过研究数字和现实中的对抗补丁，对流行的 SS 模型的稳健性进行了深入评估，并提出了场景特定攻击优化方法，似乎对自动驾驶等实际应用的影响不大。

    Aug, 2021

  • 评估语义分割模型的对抗鲁棒性

    该研究提出了一种基于梯度的迭代攻击方法来评估在语义图像分割领域中防御对抗扰动的模型的鲁棒性，并发现只有使用对抗样本进行训练才能获得鲁棒性，并分析了鲁棒性和准确性之间的权衡。

    Jun, 2023

  • 使用自由空间分割模型提高室内机器人导航的鲁棒性对抗对策

    在室内机器人导航中，我们通过分割模型在 RGB 图像中识别自由空间来提高导航精度。然而，深度学习模型容易受到对抗性攻击的影响，给其真实世界的应用带来了巨大挑战。本研究中，我们在神经网络的隐藏层中发现了漏洞，并引入了一种实用的方法来加强传统的对抗训练。我们的方法采用了一种新的距离损失函数，缩小了干净图像和对抗图像之间的隐藏层差距。实验证明该方法显著提高了模型对对抗扰动的鲁棒性。

    Feb, 2024

  • 基于不确定性的语义分割对抗攻击检测

    本研究提出基于不确定性的语义分割对抗攻击检测方法，不需修改模型或了解对抗样本生成过程，通过熵等指标区分干净和攻击图片，在多种对抗攻击类型下检测效果良好。

    May, 2023

  • 语义分割模型对抗攻击的鲁棒性

    对现代语义分割模型的对抗攻击进行了深入评估，发现许多分类任务的观察结果并不能直接转移到更复杂的任务上，同时展示了深层结构模型中的平均场推理、多尺度处理等方法如何自然地实现最近提出的对抗性防御。这些发现有助于未来理解和防御对抗性攻击，并有效评估分割模型的鲁棒性。

    Nov, 2017

  • 鲁棒语义分割：强对抗攻击和鲁棒模型快速训练

    本文探讨了在对语义分割模型进行敌对攻击时所面临的挑战性问题，并提出了相应的解决方案。最终我们得出的评估方案优于现有方法，同时表明敌对训练在语义分割中的应用因其更具挑战性的任务和更高的计算代价而受到限制。然而，通过利用强 Robust ImageNet 分类器的最新进展，我们可以在有限的计算成本下通过微调达到敌对训练和语义分割的效果

    Jun, 2023

  • 通过以人为中心的感知机制提高自动驾驶中的对抗机器学习韧性

    该研究探讨了自动驾驶系统对物理对抗攻击（胶带、涂鸦、照明）的弹性，并通过开发和评估多个机器学习模型，对道路标志和几何形状进行了测试，结果表明迁移学习在提高道路标志分类的可泛化性方面发挥了关键作用。该研究旨在改善自动驾驶车辆中目标分类器的安全性和鲁棒性，减轻对驾驶系统的对抗性示例影响。

    Nov, 2023

  • 学习生成用于鲁棒语义分割的训练数据集

    通过结合生成模型和分割模型，我们提出了一种新的方法来改善语义分割技术的鲁棒性，通过生成逼真且可靠的扰动图片来训练可靠的分割模型，从而显著提升语义分割技术在面对真实世界的扰动、分布偏移和样本变化时的鲁棒性，对于安全关键应用具有重要价值并适用于计算资源有限的推理场景。

    Aug, 2023

  • 针对对抗性攻击的鲁棒性轨迹预测

    本文介绍了一种在预测自动驾驶系统的轨迹时防御对抗性攻击的方法，该方法包括设计有效的对抗训练方法和添加特定领域的数据增强来减少在净数据上的性能损失。作者通过验证表明，相较于只使用纯净数据训练的模型，该方法在对抗数据上性能提高了 46％，并只降低了 3％的净数据性能。此外，相较于现有鲁棒方法，该方法在对抗样本上的性能提高了 21％，在干净数据上的性能提高了 9％。通过对规划器的评估，研究了我们的鲁棒模型对下游影响，证明该模型可以显著减少严重事故率（例如碰撞和越野驾驶）。

    Jul, 2022