ICCVAug, 2021

面向单目深度估计的可解释深度网络

PDF
TL;DR本研究介绍了一种方法，通过测定模型深度的某些隐藏单元对深度的特定区域的选择性，量化了深度网络的解释能力，并提出了一种在不改变原始架构的情况下训练可解释性深度网络的方法，并证明了该方法通过大幅提高其单位的深度选择性来增强深度网络的解释能力，并进一步提供了人们选择单元可靠性的全面分析，方法在不同层次，模型和数据集上的适用性以及对模型错误分析的演示。
发现论文，激发创造
  • 基于语言的单目深度估计的深度提示

    使用自然语言作为一种显示世界结构的显式先验的研究中，首先证明了语言模型在训练过程中编码了这种隐式偏差，并通过一个简单的学习方法进行提取。然后，通过一个供给 MDE 系统使用的现成实例分割模型提供标签作为语言模型输入的显式假设源。在 NYUD2 数据集上展示了我们方法的性能，并与基准线和随机对照进行了比较的改进。

    Mar, 2024

  • 自监督对抗训练单目深度估计抵抗现实世界攻击

    我们提出了一种新颖的自监督对抗训练方法，通过利用视图合成以增强单眼深度估计模型对真实世界攻击的对抗鲁棒性，而无需真实深度的地面真值。我们的方法在两个代表性的单眼深度估计网络上进行实验证明，相比于特别设计用于单眼深度估计的监督学习和对比学习方法，具有更好的鲁棒性，对良性性能影响最小。

    Jun, 2024

  • 迈向单目深度估计的可解释性

    基于深度学习的方法在二维图像深度估计方面取得了显著进展，本研究重点关注人类对深度的感知能力，并通过特定实验间接评估方法的可解释性，结果显示各种方法的平均准确率约为 77%，其中一些方法表现较好，间接揭示了它们对发现单眼深度线索如相对尺寸的潜力。

    Oct, 2023

  • 自监督单目深度估计的对抗训练：抵抗物理攻击

    该论文提出了一种基于视图合成的新型对抗训练方法，用于针对无实际深度信息的自监督 MDE 模型，通过 L0 范数约束来提高对物理世界攻击的鲁棒性，并通过与基于监督学习和对比性学习方法的比较，证明我们的方法可以在几乎不降低良性性能的情况下实现更好的鲁棒性。

    Jan, 2023

  • 通过网络剖析解释深度视觉表示

    本研究介绍了 Network Dissection 方法，通过为深度视觉表示的单元提供标签来解释网络。该方法量化了 CNN 表示的可解释性，通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐，认定单位为人类可解释标签。研究发现，深度网络是比预期更加透明和可解释的，并且可用于提供 CNN 对图像的解释预测，以增强其可解释性，这是深度神经网络的重要属性，提供了对其分层结构的新的洞见。

    Nov, 2017

  • 跳跃注意力的单目深度预测

    通过引入基于注意力机制的 Skip Attention Module，使得 Monocular Depth Estimation 的编码器和解码器特征更好地融合；并将问题表述为一个像素查询细化问题，利用提出的 Bin Center Predictor 模块进行限制性回归。在 NYUV2 和 KITTI 两个数据集上进行的广泛实验均表明，该架构的性能优于现有技术，并在 SUNRGBD 数据集上具有更好的泛化性能。

    Oct, 2022

  • 单目深度估计的双向注意力网络

    本文提出一种双向注意力网络（BANet）用于单目深度估计，通过利用神经机器翻译的概念基础和引入双向注意力模块，该方法能够高效地将局部和全局信息相融合，并在 KITTI 和 DIODE 数据集上显著优于传统的前馈模型以及其他现有的单目深度估计方法。

    Sep, 2020

  • UniDepth: 通用单目度量深度估计

    通过提出的 UniDepth 模型，我们能够从单个图像中重建度量 3D 场景，并实现相机驱动的深度特征的不变性。

    Mar, 2024

  • 单目深度估计的不确定度度量与建模

    通过引入额外的训练规范项，我们的模型不需要额外的模块或多重推论，可以提供具有最先进可靠性的不确定性估计，并且与组合或抽样方法相结合时可以进一步改进。

    Jul, 2023

  • 基于深度学习的单目深度估计：综述

    该研究对基于深度学习的单张图像深度估计方法进行了调研，总结了常用的数据集、评价指标和不同的训练方式，并讨论了未来研究中的挑战和方向。

    Mar, 2020