CVPRApr, 2020

通过使用自监督深度估计的多任务训练，改善语义分割的噪声和攻击稳健性

PDF
TL;DR本文提出了一种新的多任务训练方法，通过自我监督单目深度估计额外任务在无标签视频上来提高神经网络的鲁棒性，以应对多样的噪声和对抗攻击。我们在 Cityscapes 数据集上证明了该方法对于语义分割任务的鲁棒性和对抗攻击都有明显的提升。
neural network trainingrobustnessmulti-task trainingsemantic segmentationadversarial attacks
发现论文，激发创造
  • 利用自监督深度估计提高语义分割的三种方法

    提出了一种半监督语义分割的框架，采用自监督单目深度估计和利用场景几何形状强数据扩增的方式，结合深度特征差异和难度级别，通过学生 - 教师框架选择最有用的样本进行语义分割的注释，实现了在 Cityscapes 数据集上半监督语义分割的最好结果。

    Dec, 2020

  • 多个自监督任务的使用提高模型的鲁棒性

    本文提出了一种新的防御方法，通过同时使用多个自监督任务来动态适应输入，并避免过拟合到特定自监督任务并且恢复了图像的更多内在结构，从而显著提高了深度神经网络在对抗攻击和干净数据上的鲁棒性。

    Apr, 2022

  • 借助自监督深度估计改进半监督和领域自适应语义分割

    本文提出了一种半监督和领域自适应的语义分割框架，它利用自监督单目深度估计（SDE）来增强。该框架采用 SDE 作为辅助任务，通过选择最有用的样本、实现数据增强、转移 SDE 学习到的特征以及利用 Cross-Domain DepthMix 和 Match Geometry Sampling 来利用额外的标记合成数据与真实数据对齐，同时在 Cityscapes 数据集上进行了验证，并获得了半监督语义分割和半监督领域适应的最先进结果。

    Aug, 2021

  • 自监督对抗训练单目深度估计抵抗现实世界攻击

    我们提出了一种新颖的自监督对抗训练方法，通过利用视图合成以增强单眼深度估计模型对真实世界攻击的对抗鲁棒性，而无需真实深度的地面真值。我们的方法在两个代表性的单眼深度估计网络上进行实验证明，相比于特别设计用于单眼深度估计的监督学习和对比学习方法，具有更好的鲁棒性，对良性性能影响最小。

    Jun, 2024

  • 自监督单目深度估计探究

    该论文提出了一种改进的自监督学习方法，包括最小 reprojection 损失、全分辨率多尺度采样和自动屏蔽损失，以实现单眼深度估计。研究结果表明，该方法能够在 KITTI 基准测试上达到业界领先的结果。

    Jun, 2018

  • 自监督单目深度估计的对抗训练：抵抗物理攻击

    该论文提出了一种基于视图合成的新型对抗训练方法，用于针对无实际深度信息的自监督 MDE 模型，通过 L0 范数约束来提高对物理世界攻击的鲁棒性，并通过与基于监督学习和对比性学习方法的比较，证明我们的方法可以在几乎不降低良性性能的情况下实现更好的鲁棒性。

    Jan, 2023

  • 自监督单目深度的语义引导表示学习

    本文研究自监督学习中如何直接运用语义结构来指导几何表示的学习，提出了一种新的基于预训练语义分割网络和像素自适应卷积的架构，并使用两阶段训练过程来克服动态对象上的常见语义偏差。结果表明该方法在所有像素、细节和语义类别上都优于现有方法，实现了自监督单目深度预测的最新水平。

    Feb, 2020

  • 自监督深度估计中的域自适应语义分割

    本文介绍了一种基于自监督深度估计来缩小源域和目标域之间领域漂移的方法，该方法旨在增强目标语义预测，并使用深度预测的差异来明确像素级适应难度，进而修正目标语义分割伪标签。在 SYNTHIA-to-Cityscapes 和 GTA-to-Cityscapes 基准任务上，我们分别实现了 55.0％和 56.6％的新的最先进性能。

    Apr, 2021

  • 自监督方法提高对抗性鲁棒性

    本文首次提出了一种自我监督的对抗训练机制，在输入空间中防御对抗性攻击，并提供极大的鲁棒性，可以作为即插即用的解决方案来保护各种视觉系统，包括分类、分割和检测，同时极大降低了未知攻击的成功率。

    Jun, 2020

  • $S^3$Net：基于语义感知的自监督单目视频和合成数据深度估计

    本文介紹了一種自監督學習的深度估計方法，在使用合成數據和真實數據訓練的同時，利用幾何、時間和語義約束，實現了單目視頻深度估計的新的最先進技術，相較其他自監督和合成方法提高了 15% 到 10% 不等。

    Jul, 2020