Dec, 2023

单目深度估计中扩展基于扩散的图像生成器的重新利用

PDF
TL;DR从单幅图像恢复 3D 深度是一项基础的计算机视觉任务，本研究提出了一种基于稳定扩散方法的仿射不变单目深度估计方法 Marigold，通过使用先前生成扩散模型中捕获的大量先验知识，该方法在各种数据集上取得了最先进的性能表现。
发现论文，激发创造
  • 基于层次特征引导扩散的无监督单目深度估计

    利用生成网络的训练策略，我们提出了一种在无监督单目深度估计中具有鲁棒性的扩散模型，并采用分层特征引导的去噪模块来丰富模型的学习能力，进一步探索了图像重投影中的隐式深度，并设计了一种隐式深度一致性损失，从而提高了模型的性能和深度在视频序列中的尺度一致性。实验证明，我们的方法在生成网络模型中脱颖而出，并且具有显著的鲁棒性。

    Jun, 2024

  • 稳定扩散先验下的鲁棒单目深度估计

    该研究采用一种名为 “Stealing Stable Diffusion (SSD) prior” 的新方法来解决计算机视觉中单目深度估计在挑战性环境下的可靠性问题，通过利用稳定的扩散生成模拟各种挑战条件的合成图像，并引入自我训练机制和 DINOv2 编码器以增强模型在这些环境中的深度估计能力，同时通过引入教师损失来减少模型对教师模型的依赖，通过在 nuScenes 和 Oxford RobotCar 两个具有挑战性的公共数据集上的评估结果验证了该方法的有效性。

    Mar, 2024

  • MonoDiffusion: 基于扩散模型的自监督单目深度估计

    通过将其作为迭代去噪过程进行建模，我们引入了一种新的自监督深度估计框架 MonoDiffusion，该模型通过伪真实扩散过程生成伪真实数据以辅助扩散，从而解决了缺乏真实深度数据的问题。通过应用蒸馏损失来指导去噪深度，并使用掩码视觉条件机制增强模型的去噪能力。在 KITTI 和 Make3D 数据集上进行的广泛实验证明了 MonoDiffusion 比现有的最先进竞争对手表现更好。

    Nov, 2023

  • 基于迁移学习的高质量单目深度估计

    本文提出了一种基于卷积神经网络的深度估计方法，结合迁移学习使用高性能网络初始化编码器以及增强和训练策略以获得更准确的结果，结果表明，即使是非常简单的解码器，我们的方法也能够产生细节详尽的高分辨率深度图像。

    Dec, 2018

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 通过对抗训练重新思考单目深度估计

    该研究利用对抗训练方法实现单目深度估计，通过引入上下文感知的非局部损失函数，将深度值的预测作为一个整体进行惩罚，具有较好的性能表现。

    Aug, 2018

  • 基于深度学习的单目深度估计：综述

    该研究对基于深度学习的单张图像深度估计方法进行了调研，总结了常用的数据集、评价指标和不同的训练方式，并讨论了未来研究中的挑战和方向。

    Mar, 2020

  • 基于深度学习的单目图像和视频深度估计方法：综述

    该论文综述了基于深度学习的单个 RGB 图像和视频的深度估计方法，包括输入输出模态、网络结构和学习方法的分类，历史里程碑，以及现有方法使用的流程、数据集和评估指标。

    Jun, 2024

  • 半监督对抗式单目深度估计

    本文提出了一种半监督对抗学习框架来解决当仅有有限数量的训练图像 - 深度对时，单目深度估计的问题，并在 NYUD v2 数据集上改进了大部分最先进的模型。

    Aug, 2019

  • 单目深度估计的自适应学习

    本篇论文提出了一种基于元学习的对抗式深度估计任务来增强深度估计模型的泛化能力，并引入了约束条件以迫使深度估计在不同对抗性任务中是相同的。实验证明，该方法能够在少量训练步骤后适应新的数据集。

    Mar, 2022