Jun, 2024

GeoBench：单目几何估计模型的基准测试与分析

PDF
TL;DR通过构建统一的评估基准和使用高质量的合成数据，我们发现使用大规模数据进行微调的判别模型，如 DINOv2，可以在相同的训练配置下，通过较少量的高质量合成数据超越生成对应物，这表明微调数据的质量比数据规模和模型架构更重要。这项研究对几何估计任务的进展以及广泛的下游应用具有推动作用。
发现论文，激发创造
  • 鲁棒的几何保持深度估计 - 使用可微分渲染

    通过混合数据集训练模型，预测几何保持的深度，并通过渲染重建场景的新视图以及设计损失函数，促进不同视角下深度估计的一致性，实现了对领域特定尺度和平移系数的自主恢复，优于现有最先进方法的多个基准数据集。

    Sep, 2023

  • 几何与语义相遇：半监督单目深度估计

    通过利用语义标记的图像和通过图像变形获得的无监督信号来联合学习语义分割和深度估计，提出了一种半监督的深度估计方法，结果表明在 KITTI 数据集上超过了单目深度估计的先进方法。

    Oct, 2018

  • GasMono：室内场景中基于几何辅助的自监督单目深度估计

    通过多视图几何从单目序列中获取粗略相机姿态以解决室内场景中自监督单目深度估计的挑战，通过旋转和平移 / 缩放优化来改进姿态，通过全局推理的视觉变换器和迭代的自蒸馏机制软化低纹理效果，实验结果显示了框架中每个组件的有效性，并提供了室内自监督单目深度估计的新的技术水平以及出色的泛化能力。

    Sep, 2023

  • 单目深度估计神经网络结构的普适性研究

    通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

    Jan, 2023

  • 自监督单目深度估计泛化性的深入挖掘

    本文研究使用自监督单目深度估计算法的主干网络（如 CNNs，Transformers 和 CNN-Transformer 混合模型）在广泛的公共数据集上的泛化性能，观察到 Transformers 具有很强的形状偏差，而 CNNs 则具有很强的纹理偏差，同时提出了一种新的 CNN-Transformer 混合网络，名为 MonoFormer，该模型具有最佳的广义性能和分类性能。

    May, 2022

  • 利用投影建模学习基于几何引导的深度，实现单目三维物体检测

    本篇研究提出一种基于几何建模的投影模型方法，用于改进单目三维物体检测中的深度估计问题，实验证明该方法使得检测性能得到了显著提升。

    Jul, 2021

  • 单目深度估计中扩展基于扩散的图像生成器的重新利用

    从单幅图像恢复 3D 深度是一项基础的计算机视觉任务，本研究提出了一种基于稳定扩散方法的仿射不变单目深度估计方法 Marigold，通过使用先前生成扩散模型中捕获的大量先验知识，该方法在各种数据集上取得了最先进的性能表现。

    Dec, 2023

  • GenDepth：通过地平面嵌入泛化任意相机参数的单目深度估计

    通过挑战传统趋势，本论文介绍了 GenDepth，一种能够适用于任意车载相机设置的新型模型，用于进行度量深度估计。通过创建具有不同车载相机系统的专门合成数据集，并结合对抗性域对齐的嵌入式镜头参数的新方法，GenDepth 在多个自动驾驶数据集上得到验证，展示了其对不同车载相机系统的最新泛化性能。

    Dec, 2023

  • Metric3D：基于单张图片的零样本度量三维预测

    基于大规模数据训练和解决来自不同摄像机模型的度量歧义，实现了在野外图像中无需训练即可广义泛化的单视图度量深度模型，并在 7 个零样本基准测试上展现了领先表现。

    Jul, 2023

  • 自监督预训练和微调用于单目深度和视觉里程计

    我们提出了一种使用自监督变换器模型进行单目深度和视觉里程计估计任务的方法，分为两个步骤：第一步是使用跨视角补全目标（CroCo）进行通用预训练以学习 3D 几何，然后在非标注视频上进行自监督微调。我们展示了我们的自监督模型可以通过使用视觉变换器、密集预测变换器和适配器等标准组件达到最先进的性能。通过在六个基准数据集上进行评估，包括静态和动态、室内和室外、合成和真实图像，我们证明了我们提出方法的有效性，尤其在深度预测任务中超过了最先进的方法。

    Jun, 2024