Apr, 2024

探索对比学习在扩散模型中的应用于稳健深度估计

PDF
TL;DR最近，由于其优雅的去噪模式和良好的性能，扩散型深度估计方法引起了广泛关注。然而，在实际场景中存在的恶劣条件（如雨天、雪天等）下，它们通常不可靠。在本文中，我们提出了一种称为 D4RD 的新型稳健深度估计方法，其特点是针对扩散模型定制的对比学习模式，以减轻复杂环境中的性能退化。具体而言，我们将知识蒸馏的优势融入对比学习中，构建了 “三位一体” 对比方案。该方案利用前向扩散过程中采样噪声作为自然参考，引导多样场景中的预测噪声朝向更稳定和精确的最优值。此外，我们将噪声水平的 “三位一体” 扩展到更通用的特征和图像水平，建立了多级对比，分摊鲁棒感知的负担到整个网络。在解决复杂场景之前，我们通过三个简单而有效的改进提高了基线扩散模型的稳定性，有助于收敛并消除深度异常值。大量实验证明，D4RD 在合成污染数据集和实际天气条件下超过了现有的最先进解决方案。D4RD 的代码将提供给进行进一步探索和采用的用户。
diffusion-based depth estimation methodsd4rdcontrastive learningcomplex environmentsrobust perception
发现论文，激发创造
  • D4D: 一种提升单目深度估计的 RGBD 扩散模型

    通过使用 Diffusion4D 生成真实的 RGBD 样本，本文提出了一个新的训练流程，在室内 NYU Depth v2 数据集和室外 KITTI 数据集上，通过生成样本丰富的有监督训练流程，相对于合成数据和原始数据，在单目深度估计任务中取得了 (8.2％，11.9％) 和 (8.1％，6.1％) 的 RMSE 降低。

    Mar, 2024

  • MonoDiffusion: 基于扩散模型的自监督单目深度估计

    通过将其作为迭代去噪过程进行建模，我们引入了一种新的自监督深度估计框架 MonoDiffusion，该模型通过伪真实扩散过程生成伪真实数据以辅助扩散，从而解决了缺乏真实深度数据的问题。通过应用蒸馏损失来指导去噪深度，并使用掩码视觉条件机制增强模型的去噪能力。在 KITTI 和 Make3D 数据集上进行的广泛实验证明了 MonoDiffusion 比现有的最先进竞争对手表现更好。

    Nov, 2023

  • 扩散模型在光流和单目深度估计中的惊人有效性

    本文展示了使用去噪扩散概率模型进行单目 depth 和 optical flow 估计，通过 Monte Carlo 推理，结合了自监督预训练和合成和真实数据的监督训练，能够在去噪和缺陷数据方面提供技术创新，以及对于不确定性和多模态的处理能力等方面都能取得最先进的效果。DDVM 是本文中提出的模型，相对深度误差为 0.074，比最佳发布方法的 Fl-all outlier rate 高 25%。

    Jun, 2023

  • 基于层次特征引导扩散的无监督单目深度估计

    利用生成网络的训练策略，我们提出了一种在无监督单目深度估计中具有鲁棒性的扩散模型，并采用分层特征引导的去噪模块来丰富模型的学习能力，进一步探索了图像重投影中的隐式深度，并设计了一种隐式深度一致性损失，从而提高了模型的性能和深度在视频序列中的尺度一致性。实验证明，我们的方法在生成网络模型中脱颖而出，并且具有显著的鲁棒性。

    Jun, 2024

  • 6D-Diff: 一个用于 6D 物体姿态估计的关键点扩散框架

    基于扩散模型和逆扩散算法的 6D 物体姿态估计框架，在减少噪声和不确定性的基础上实现准确的 2D-3D 对应，并通过对物体特征进行条件优化，取得了较好的性能。

    Dec, 2023

  • DDRF: 遥感图像融合的去噪扩散模型

    本篇文章将去噪扩散模型引入图像融合领域，将融合任务作为图像到图像的转换，设计两种不同的条件注入模块，即风格转换调制和小波调制，注入粗粒度风格信息和细粒度高低频信息来生成融合图像，并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明，在图像融合任务中具有最先进的结果和良好的泛化性能，希望本文可以激发其他工作的灵感，并深入了解该领域，以更好地将扩散模型应用于图像融合任务。

    Apr, 2023

  • DiffRef3D：一种基于扩散的三维物体检测提案细化框架

    DiffRef3D 是一种新颖的框架，采用了首次将扩散流程应用于使用点云的三维物体检测，通过将噪声逐渐添加到提案和目标物体之间的残差，并将噪声残差应用于提案以生成假设，然后通过迭代步骤对假设进行精确的盒子预测，从而在现有的三维物体检测模型中持续改进性能。

    Oct, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • RichDreamer: 一个适用于文本到 3D 的可推广的法线混合模型

    通过训练一个通用的 Normal-Depth 扩散模型，结合图像到深度和法向量先验模型，以及引入反射率扩散模型来减轻材质的混合光照效果，本文提出了一种用于 3D 生成的方法，显著增强了细节丰富性，达到了最先进的结果。

    Nov, 2023

  • 稳定扩散先验下的鲁棒单目深度估计

    该研究采用一种名为 “Stealing Stable Diffusion (SSD) prior” 的新方法来解决计算机视觉中单目深度估计在挑战性环境下的可靠性问题，通过利用稳定的扩散生成模拟各种挑战条件的合成图像，并引入自我训练机制和 DINOv2 编码器以增强模型在这些环境中的深度估计能力，同时通过引入教师损失来减少模型对教师模型的依赖，通过在 nuScenes 和 Oxford RobotCar 两个具有挑战性的公共数据集上的评估结果验证了该方法的有效性。

    Mar, 2024