Feb, 2022

自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

PDF
TL;DR研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。
self-supervised monocular depth estimationvision transformerscnn architectureskitti depth prediction benchmarksadversarial attacks
发现论文，激发创造
  • 基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

    本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

    Nov, 2022

  • MonoViT：基于视觉 Transformer 的自监督单目深度估计

    提出了一种新的基于 Vision Transformers（ViTs）和自监督单眼深度估计的框架 MonoViT，通过结合普通卷积和 Transformer 模型，能够在局部和全局推理，可以更准确地预测深度，达到了更高水平的性能，证明比其他数据集具有更好的泛化能力。

    Aug, 2022

  • 自监督单目深度估计泛化性的深入挖掘

    本文研究使用自监督单目深度估计算法的主干网络（如 CNNs，Transformers 和 CNN-Transformer 混合模型）在广泛的公共数据集上的泛化性能，观察到 Transformers 具有很强的形状偏差，而 CNNs 则具有很强的纹理偏差，同时提出了一种新的 CNN-Transformer 混合网络，名为 MonoFormer，该模型具有最佳的广义性能和分类性能。

    May, 2022

  • 无监督结构光变换

    我们提出了一种基于鲁棒的 Transformer 的单目 SfM 方法，能够同时预测单目像素级深度、自车的平移和旋转、相机的焦距和主点，并且通过在 KITTI 和 DDAD 数据集上的实验，展示了如何适应不同的视觉 Transformer 并将其与当代基于 CNN 的方法进行比较。我们的研究表明，虽然基于 Transformer 的架构在运行时间效率上较低，但在面对自然的破坏、非目标攻击和有目标攻击时具有可比性的性能，并且更加稳健。

    Dec, 2023

  • 自监督预训练和微调用于单目深度和视觉里程计

    我们提出了一种使用自监督变换器模型进行单目深度和视觉里程计估计任务的方法，分为两个步骤：第一步是使用跨视角补全目标（CroCo）进行通用预训练以学习 3D 几何，然后在非标注视频上进行自监督微调。我们展示了我们的自监督模型可以通过使用视觉变换器、密集预测变换器和适配器等标准组件达到最先进的性能。通过在六个基准数据集上进行评估，包括静态和动态、室内和室外、合成和真实图像，我们证明了我们提出方法的有效性，尤其在深度预测任务中超过了最先进的方法。

    Jun, 2024

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 自监督实例适应的单目深度估计

    本文介绍了一种新方法，可将任何现成的自我监督的单目深度重建系统扩展到在测试时使用多个图像。该方法利用自我监督来提高多个视图可用时深度重建的准确性，在 KITTI 基准测试中，我们的自我监督方法在常见的三种设置（单目、立体和单目 + 立体）下平均减少绝对误差 25％，并在准确性上接近完全受监督的最先进方法。

    Apr, 2020

  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022

  • 无监督卷积神经网络用于单视角深度估计：几何的拯救

    本文提出了一种基于自编码器的无监督深度卷积神经网络学习框架，通过训练不需要预训练或注释的神经网络，为单视图深度预测提供了一种新的方法。

    Mar, 2016

  • 用于自动驾驶的联邦无监督单目深度估计器的学习

    提出了一种新的方法 FedSCDepth，结合联邦学习和深度自监督，能够以与当前最先进的方法相媲美且更高效的方式进行单目深度估计的学习。在 KITTI 数据集上进行的评估实验表明，所提出的方法在测试损失低于 0.13，平均仅需要 1.5k 个训练步骤，并且每轮每辆自动驾驶车辆的权重数据传输量最多为 0.415 GB，达到了近乎最新技术的性能水平。

    Oct, 2023