Nov, 2023

DSR-Diff：具有扩散模型的深度地图超分辨率

PDF
TL;DR色彩引导的深度图超分辨率技术通过扩展高品质彩色图像来提高低质量深度图像的空间分辨率，利于 3D 重建、虚拟现实和增强现实等多方面应用。本文提出一种新颖的深度图超分辨率范式，利用扩散模型在潜在空间中生成深度图超分辨率的引导。该方法包括引导生成网络，深度图超分辨网络和引导恢复网络，并结合简单而有效的特征融合模块和 Transformer 风格的特征提取模块，使其能够在多模型图像的提取、融合和重建中利用引导先验知识。经过广泛的实验证明，在准确性和效率方面，我们的方法在与现有先进方法对比时展现出卓越的性能。我们的代码将在此 https 的 URL 进行公开共享。
color-guided depth map super-resolutiondiffusion modelconvolutional neural networkstransformerslatent space
发现论文，激发创造
  • 离散余弦变换网络用于引导深度图超分辨率

    提出一种新颖的离散余弦变换网络（DCTNet）来解决多模态图像处理中导向深度超分辨率（GDSR）的挑战，包括理解工作机制、提取跨模态特征和减弱 RGB 纹理过度传递，通过离散余弦变换模块、半耦合特征提取模块和边缘注意机制来分别解决这些问题。实验结果表明，DCTNet 的性能比之前最先进的方法更好，在参数数量相对较小的情况下能够更好地处理导向深度超分辨率。

    Apr, 2021

  • SGNet: 基于梯度频率感知的结构引导网络用于深度图超分辨率

    我们提出了结构引导网络 (SGNet)，该网络利用梯度和频率域捕捉高频结构，包括梯度校准模块 (GCM) 和频率感知模块 (FAM)，通过实验证明我们的 SGNet 在真实和合成数据集上具有优越性能。

    Dec, 2023

  • 重新思考用于多对比度 MRI 超分辨率的扩散模型

    提出了一种名为 DiffMSR 的高效扩散模型，用于多对比度磁共振成像的超分辨率重建，通过在高度紧凑的低维潜空间中应用扩散模型生成高频详细信息的先验知识，并设计了 PLWformer 作为解码器，使重建的 MR 图像保持无失真。在公共和临床数据集上的大量实验表明，DiffMSR 优于现有方法。

    Apr, 2024

  • 加速的条件扩散模型用于单图超分辨率

    本研究提出了一种名为 ACDMSR（accelerated conditional diffusion model for image super-resolution）的新型扩散模型，通过预先训练的 SR 模型提供给定 LR 图像的条件图像来实现优秀的超分辨率结果，从而在可实践的场景中生成更具视觉逼真感的低分辨率图像。

    Jul, 2023

  • 细节之中的魔鬼：通过重新思考跨模态对齐和聚合来提升引导式深度超分辨率

    通过重新审视 GDSR 网络的一些关键组件并提出简单但有效的 Dynamic Dual Alignment and Aggregation 网络（D2A2），我们结合 RGB 和深度特征的优势，同时最小化 RGB 图像引入的干扰，通过对模态不匹配进行学习的领域对齐块和学习偏移来减轻模态不匹配的动态双重对齐模块，并通过使用门控机制和像素注意力来过滤 IR 纹理噪声并将有用的特征与深度特征结合起来的掩码到像素特征聚合模块，我们的方法在多个基准数据集上实现了最先进的性能。

    Jan, 2024

  • BridgeNet: 深度图像超分辨率和单目深度估计联合学习网络

    本文提出一个基于多任务学习的联合深度图超分辨率与单目深度估计网络，采用不同的引导策略设计两个桥梁，一个是用于特征编码过程的高频注意力桥梁，另一个是用于深度图重建过程的内容引导桥梁，实验证明该方法在基准数据集上具有竞争性能。

    Jul, 2021

  • 基于通道注意力的迭代残差学习用于深度地图超分辨率

    本文提出了一种针对现实世界深度图超分辨率（DSR）的技术框架，该框架包括四个模块，并在基准数据集上进行实验表明，该方法优于当前最先进的 DSR 方法。

    Jun, 2020

  • 基于注意力层次多模态融合的高分辨率深度图像成像

    本文提出了一种基于注意力机制多模态融合的层次结构深度图超分辨率网络，可以有效地从低分辨率深度图和高分辨率 RGB 图像中提取并组合有价值的特征以实现超分辨率重建。

    Apr, 2021

  • Real-GDSR：基于边增强残差网络的实际世界导向 DSM 超分辨率

    通过使用局部细化网络和基于扩散的技术，我们提出了一种名为 REAL-GDSR 的新方法来解决实际世界 DSM（数字表面模型）超分辨率的复杂性问题。我们的方法在定性和定量评估中表现出优于现有方法的效果。

    Apr, 2024

  • 通过深度各向异性扩散指导的深度超分辨率

    本文提出了一种新颖的方法，将有向各向异性扩散技术和深度卷积神经网络相结合，实现了超分辨率深度图像的指导。该方法以前人的研究为基础，在边缘转移 / 增强性，与现代网络的上下文推理能力和严格的校准步骤的保证下，在三个常用的超分辨率指导深度准则下展现了前所未有的成果。

    Nov, 2022