AAAIMay, 2022

自监督单目深度估计泛化性的深入挖掘

PDF
TL;DR本文研究使用自监督单目深度估计算法的主干网络（如 CNNs，Transformers 和 CNN-Transformer 混合模型）在广泛的公共数据集上的泛化性能，观察到 Transformers 具有很强的形状偏差，而 CNNs 则具有很强的纹理偏差，同时提出了一种新的 CNN-Transformer 混合网络，名为 MonoFormer，该模型具有最佳的广义性能和分类性能。
self-supervised monocular depth estimationbackbone networkscnnstransformersgeneralization performance
发现论文，激发创造
  • 单目深度估计神经网络结构的普适性研究

    通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

    Jan, 2023

  • 自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

    研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。

    Feb, 2022

  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022

  • 基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

    本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

    Nov, 2022

  • 深度邻居层聚合轻量级自监督单目深度估计

    我们提出了一种全卷积深度估计网络，利用上下文特征融合，采用高分辨率和低分辨率特征来保留小目标和高速移动物体的信息，进一步在解码器阶段采用基于卷积的轻量级通道注意力来优化深度估计结果，降低参数数量同时保持准确性。

    Sep, 2023

  • DepthFormer：利用长程相关性和局部信息进行准确的单眼深度估计

    该研究提出了一种基于 Transformer 和 CNN 特征组合的分层聚合模型，以解决有监督单目深度估计的问题，实验结果表明，该模型在 KITTI、NYU 和 SUN RGB-D 等数据集上均超越了现有的有监督单目深度估计方法，特别是在 KITTI 深度估计基准测试上实现了最具竞争力的结果。

    Mar, 2022

  • MonoViT：基于视觉 Transformer 的自监督单目深度估计

    提出了一种新的基于 Vision Transformers（ViTs）和自监督单眼深度估计的框架 MonoViT，通过结合普通卷积和 Transformer 模型，能够在局部和全局推理，可以更准确地预测深度，达到了更高水平的性能，证明比其他数据集具有更好的泛化能力。

    Aug, 2022

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 基于混合 Transformer 的自监督单目深度估计的多先验表示学习

    通过利用多个先验知识来增强表示能力，我们提出了一种新颖的自监督单目深度估计模型，以综合提高深度估计的准确性和可靠性。

    Jun, 2024

  • 单目深度估计中扩展基于扩散的图像生成器的重新利用

    从单幅图像恢复 3D 深度是一项基础的计算机视觉任务，本研究提出了一种基于稳定扩散方法的仿射不变单目深度估计方法 Marigold，通过使用先前生成扩散模型中捕获的大量先验知识，该方法在各种数据集上取得了最先进的性能表现。

    Dec, 2023