Jun, 2024

自监督预训练和微调用于单目深度和视觉里程计

PDF
TL;DR我们提出了一种使用自监督变换器模型进行单目深度和视觉里程计估计任务的方法，分为两个步骤：第一步是使用跨视角补全目标（CroCo）进行通用预训练以学习 3D 几何，然后在非标注视频上进行自监督微调。我们展示了我们的自监督模型可以通过使用视觉变换器、密集预测变换器和适配器等标准组件达到最先进的性能。通过在六个基准数据集上进行评估，包括静态和动态、室内和室外、合成和真实图像，我们证明了我们提出方法的有效性，尤其在深度预测任务中超过了最先进的方法。
simultaneous monocular depthvisual odometry estimationself-supervised transformer-based models3d geometrystate-of-the-art performance
发现论文，激发创造
  • 自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

    研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。

    Feb, 2022

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 自监督几何引导的鲁棒单目视觉里程计初始化

    通过分析主要的失败案例并揭示优化过程的各种缺点，我们诊断了一种流行的学习型 SLAM 模型（DROID-SLAM）的关键弱点。然后，我们提出使用自监督先验，利用冻结的大规模预训练单眼深度估计初始化稠密捆绑调整过程，从而实现鲁棒的视觉里程计，无需对 SLAM 骨干进行微调。尽管方法简单，但在 KITTI 里程计和具有挑战性的 DDAD 基准上，我们的方法显示出显著的改进。代码和预训练模型将在发表后发布。

    Jun, 2024

  • 基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

    本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

    Nov, 2022

  • 自监督实例适应的单目深度估计

    本文介绍了一种新方法，可将任何现成的自我监督的单目深度重建系统扩展到在测试时使用多个图像。该方法利用自我监督来提高多个视图可用时深度重建的准确性，在 KITTI 基准测试中，我们的自我监督方法在常见的三种设置（单目、立体和单目 + 立体）下平均减少绝对误差 25％，并在准确性上接近完全受监督的最先进方法。

    Apr, 2020

  • 基于深度特征重建的单目深度估计和视觉里程计无监督学习

    本文探讨了利用立体序列进行深度和视觉里程计学习的方法，并在 KITTI 行驶数据集上的实验表明，我们的方法优于现有的基于学习的方法。

    Mar, 2018

  • MonoViT：基于视觉 Transformer 的自监督单目深度估计

    提出了一种新的基于 Vision Transformers（ViTs）和自监督单眼深度估计的框架 MonoViT，通过结合普通卷积和 Transformer 模型，能够在局部和全局推理，可以更准确地预测深度，达到了更高水平的性能，证明比其他数据集具有更好的泛化能力。

    Aug, 2022

  • 自监督单目深度估计探究

    该论文提出了一种改进的自监督学习方法，包括最小 reprojection 损失、全分辨率多尺度采样和自动屏蔽损失，以实现单眼深度估计。研究结果表明，该方法能够在 KITTI 基准测试上达到业界领先的结果。

    Jun, 2018

  • 使用自注意力和离散视差体进行自监督单目训练深度估计

    本研究提出了两种新的方法以提高自监督单目训练深度估计，分别为自我关注和离散视差预测，将这两种方法应用到最先进的单目深度估计模型 Monodepth2 中，超越其他自监督和完全监督方法，获得在 KITTI 2015 和 Make3D 数据集上最好的结果。

    Mar, 2020

  • 基于 Transformer 模型的单目视觉里程计：一种视频理解方法

    利用基于自注意力机制的 TSformer-VO 模型，将单目视觉里程计作为视频理解任务，从视频片段中提取特征并通过端到端的方式估计摄像机的 6-DoF 位姿，取得了与基于几何和深度学习的方法相比具有竞争力的业内领先表现。

    May, 2023