Jun, 2023

扩散模型在光流和单目深度估计中的惊人有效性

PDF
TL;DR本文展示了使用去噪扩散概率模型进行单目 depth 和 optical flow 估计，通过 Monte Carlo 推理，结合了自监督预训练和合成和真实数据的监督训练，能够在去噪和缺陷数据方面提供技术创新，以及对于不确定性和多模态的处理能力等方面都能取得最先进的效果。DDVM 是本文中提出的模型，相对深度误差为 0.074，比最佳发布方法的 Fl-all outlier rate 高 25%。
发现论文，激发创造
  • MonoDiffusion: 基于扩散模型的自监督单目深度估计

    通过将其作为迭代去噪过程进行建模，我们引入了一种新的自监督深度估计框架 MonoDiffusion，该模型通过伪真实扩散过程生成伪真实数据以辅助扩散，从而解决了缺乏真实深度数据的问题。通过应用蒸馏损失来指导去噪深度，并使用掩码视觉条件机制增强模型的去噪能力。在 KITTI 和 Make3D 数据集上进行的广泛实验证明了 MonoDiffusion 比现有的最先进竞争对手表现更好。

    Nov, 2023

  • 基于层次特征引导扩散的无监督单目深度估计

    利用生成网络的训练策略，我们提出了一种在无监督单目深度估计中具有鲁棒性的扩散模型，并采用分层特征引导的去噪模块来丰富模型的学习能力，进一步探索了图像重投影中的隐式深度，并设计了一种隐式深度一致性损失，从而提高了模型的性能和深度在视频序列中的尺度一致性。实验证明，我们的方法在生成网络模型中脱颖而出，并且具有显著的鲁棒性。

    Jun, 2024

  • 低层视觉中的扩散模型：概述

    这篇综述论文全面地评估了扩散模型技术，并探讨了它们与其他深度生成模型的相关性，建立了理论基础。同时，该论文还总结了扩散模型在医学、遥感和视频等领域应用的情况，提供了常用基准和评估指标的概述，以及针对三个主要任务的扩散模型技术的全面评估。最后，作者指出当前扩散模型的局限性，并提出了未来研究的七个有趣方向。这篇综述论文旨在加深人们对于在低层次视觉任务中的去噪扩散模型领域的全面理解。

    Jun, 2024

  • DepthFM: 快速单目深度估计与流匹配

    使用流场匹配的方法，通过引入预训练的图像扩散模型作为先验，允许仅在合成数据上进行训练的深度估计模型在真实图像上得到泛化；引入辅助表面法线损失进一步改进深度估计，模型对深度估计的置信度进行可靠预测，且在复杂自然场景的标准基准上，轻量级的方法表现优秀且计算成本低。

    Mar, 2024

  • 超越 U：打造更快速、更轻量级的扩散模型

    利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

    Oct, 2023

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022

  • DifFlow3D：基于扩散模型的稳健不确定性感知场景流估计

    基于扩散概率模型的新型不确定性感知场景流估计网络 (DifFlow3D) 提出，具有卓越性能，在 FlyingThings3D 和 KITTI 2015 数据集上分别降低了 6.7％和 19.1％的 EPE3D，且在 KITTI 数据集上实现了前所未有的毫米级准确度 (0.0089m 的 EPE3D)。扩散式精炼范式可作为即插即用模块集成到现有场景流网络中，显著提高其估计准确性。

    Nov, 2023

  • Open-DDVM: 光流估计的扩展与复制

    本技术报告介绍了第一个开源的 DDVM 模型的复现，通过研究一些设计选择，我们发现了一些重要的因素，并且通过在公共数据上进行训练，在性能上与闭源的 DDVM 相当。

    Dec, 2023

  • D4D: 一种提升单目深度估计的 RGBD 扩散模型

    通过使用 Diffusion4D 生成真实的 RGBD 样本，本文提出了一个新的训练流程，在室内 NYU Depth v2 数据集和室外 KITTI 数据集上，通过生成样本丰富的有监督训练流程，相对于合成数据和原始数据，在单目深度估计任务中取得了 (8.2％，11.9％) 和 (8.1％，6.1％) 的 RMSE 降低。

    Mar, 2024