自监督单目深度估计的对抗训练:抵抗物理攻击
本文提出了一种基于优化的物体定向对抗攻击方法,针对深度学习驱动的单目深度估计系统,通过敏感区域本地化、自然样式伪装等技术生成隐蔽、有效和稳健的对抗补丁,并在实际驾驶场景中进行了评估,结果表明该攻击方法能够在多个目标物体和模型上达到超过 6 米的平均深度估计误差和 93%以上的攻击成功率。
Jul, 2022
基于深度学习的单目深度估计 (MDE) 在自动驾驶中广泛应用,但容易受到对抗攻击。我们提出了第一个基于三维纹理的对抗攻击方法 3D$^2$Fool 来克服现有攻击方法的局限性,并在各种场景下取得了卓越性能的实验验证。
Mar, 2024
本文旨在探讨当前最先进的单目深度估计神经网络对抗攻击的鲁棒性,实验结果表明微小的打扰和少于 1% 的图像损坏就会极大地影响深度估计,并提出一种新的深度特征损坏损失来增强攻击效果
May, 2020
本研究探讨了将对抗性训练应用于单目深度估计任务中的益处,并扩展了自监督网络以成为生成对抗网络(GAN)来实现全局一致性。通过对不同像素级重构损失结合 Vanilla GAN, LSGAN 和 Wasserstein GAN 等进行广泛的实验评估,得出当重构损失不太受限制时,对抗训练是有益的结论,并证明在使用批量归一化时,无需使用 GAN 的非对抗性训练法表现优异。因此,我们采用批量规范化和不同的输出比例,获得了最新的单目深度估计结果。
Oct, 2019
本论文介绍了第二届单目深度估计挑战赛(MDEC)的结果。该挑战赛对使用任何形式的监督方法开放,包括全监督、自监督、多任务或代理深度。挑战赛是基于 SYNS-Patches 数据集进行的,该数据集包括高质量密集地面真实度的广泛环境。结果表明,本次挑战赛的提交结果均超过了提供的 SotA 基线,并取得了显着进展,同时强调了未来研究的方向。
Apr, 2023
本文提出了一种半监督和领域自适应的语义分割框架,它利用自监督单目深度估计(SDE)来增强。该框架采用 SDE 作为辅助任务,通过选择最有用的样本、实现数据增强、转移 SDE 学习到的特征以及利用 Cross-Domain DepthMix 和 Match Geometry Sampling 来利用额外的标记合成数据与真实数据对齐,同时在 Cityscapes 数据集上进行了验证,并获得了半监督语义分割和半监督领域适应的最先进结果。
Aug, 2021
本篇论文提出了一种基于元学习的对抗式深度估计任务来增强深度估计模型的泛化能力,并引入了约束条件以迫使深度估计在不同对抗性任务中是相同的。实验证明,该方法能够在少量训练步骤后适应新的数据集。
Mar, 2022
我们研究了 MDE 系统对恶意补丁的脆弱性,提出了一种新颖的对 MDE 系统的隐蔽性恶意攻击方法(SAAM),通过破坏估计的距离或让物体与周围环境融为一体来损害 MDE 系统。我们的实验证明,设计的隐蔽补丁成功导致基于深度学习神经网络的 MDE 系统对物体深度估计出现显著的 60% 误差,在受影响区域的比例达到 99%。而且,尽管是恶意攻击,补丁的外观自然,对人类观察者来说不易察觉。我们认为这项工作揭示了 MDE 系统在边缘设备上面临的恶意攻击威胁。希望引起社区的关注,意识到此类攻击可能造成的实际危害,并鼓励进一步研究以开发更强大和自适应的防御机制。
Aug, 2023