Nov, 2023

MonoDiffusion: 基于扩散模型的自监督单目深度估计

PDF
TL;DR通过将其作为迭代去噪过程进行建模，我们引入了一种新的自监督深度估计框架 MonoDiffusion，该模型通过伪真实扩散过程生成伪真实数据以辅助扩散，从而解决了缺乏真实深度数据的问题。通过应用蒸馏损失来指导去噪深度，并使用掩码视觉条件机制增强模型的去噪能力。在 KITTI 和 Make3D 数据集上进行的广泛实验证明了 MonoDiffusion 比现有的最先进竞争对手表现更好。
self-supervised monocular depth estimationmonodiffusioniterative denoising processpseudo ground-truth diffusionmasked visual condition mechanism
发现论文，激发创造
  • 基于层次特征引导扩散的无监督单目深度估计

    利用生成网络的训练策略，我们提出了一种在无监督单目深度估计中具有鲁棒性的扩散模型，并采用分层特征引导的去噪模块来丰富模型的学习能力，进一步探索了图像重投影中的隐式深度，并设计了一种隐式深度一致性损失，从而提高了模型的性能和深度在视频序列中的尺度一致性。实验证明，我们的方法在生成网络模型中脱颖而出，并且具有显著的鲁棒性。

    Jun, 2024

  • 扩散模型在光流和单目深度估计中的惊人有效性

    本文展示了使用去噪扩散概率模型进行单目 depth 和 optical flow 估计，通过 Monte Carlo 推理，结合了自监督预训练和合成和真实数据的监督训练，能够在去噪和缺陷数据方面提供技术创新，以及对于不确定性和多模态的处理能力等方面都能取得最先进的效果。DDVM 是本文中提出的模型，相对深度误差为 0.074，比最佳发布方法的 Fl-all outlier rate 高 25%。

    Jun, 2023

  • 单目深度估计中扩展基于扩散的图像生成器的重新利用

    从单幅图像恢复 3D 深度是一项基础的计算机视觉任务，本研究提出了一种基于稳定扩散方法的仿射不变单目深度估计方法 Marigold，通过使用先前生成扩散模型中捕获的大量先验知识，该方法在各种数据集上取得了最先进的性能表现。

    Dec, 2023

  • 稳定扩散先验下的鲁棒单目深度估计

    该研究采用一种名为 “Stealing Stable Diffusion (SSD) prior” 的新方法来解决计算机视觉中单目深度估计在挑战性环境下的可靠性问题，通过利用稳定的扩散生成模拟各种挑战条件的合成图像，并引入自我训练机制和 DINOv2 编码器以增强模型在这些环境中的深度估计能力，同时通过引入教师损失来减少模型对教师模型的依赖，通过在 nuScenes 和 Oxford RobotCar 两个具有挑战性的公共数据集上的评估结果验证了该方法的有效性。

    Mar, 2024

  • 自监督单目深度估计探究

    该论文提出了一种改进的自监督学习方法，包括最小 reprojection 损失、全分辨率多尺度采样和自动屏蔽损失，以实现单眼深度估计。研究结果表明，该方法能够在 KITTI 基准测试上达到业界领先的结果。

    Jun, 2018

  • D4D: 一种提升单目深度估计的 RGBD 扩散模型

    通过使用 Diffusion4D 生成真实的 RGBD 样本，本文提出了一个新的训练流程，在室内 NYU Depth v2 数据集和室外 KITTI 数据集上，通过生成样本丰富的有监督训练流程，相对于合成数据和原始数据，在单目深度估计任务中取得了 (8.2％，11.9％) 和 (8.1％，6.1％) 的 RMSE 降低。

    Mar, 2024

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 使用自注意力和离散视差体进行自监督单目训练深度估计

    本研究提出了两种新的方法以提高自监督单目训练深度估计，分别为自我关注和离散视差预测，将这两种方法应用到最先进的单目深度估计模型 Monodepth2 中，超越其他自监督和完全监督方法，获得在 KITTI 2015 和 Make3D 数据集上最好的结果。

    Mar, 2020

  • Refine and Distill: 利用循环不一致性和知识蒸馏进行无监督单目深度估计

    提出了一种基于自监督深层模型的新型单目深度估计框架，其中包括通过反向循环模型进行的深度估计网络优化、信息蒸馏等策略。此框架在 KITTI 基准测试中表现出良好的性能，胜过了目前的非监督方法。

    Mar, 2019

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022