CVPRApr, 2021

离散余弦变换网络用于引导深度图超分辨率

PDF
TL;DR提出一种新颖的离散余弦变换网络（DCTNet）来解决多模态图像处理中导向深度超分辨率（GDSR）的挑战，包括理解工作机制、提取跨模态特征和减弱 RGB 纹理过度传递，通过离散余弦变换模块、半耦合特征提取模块和边缘注意机制来分别解决这些问题。实验结果表明，DCTNet 的性能比之前最先进的方法更好，在参数数量相对较小的情况下能够更好地处理导向深度超分辨率。
guided depth super-resolutionmulti-modal image processingdiscrete cosine transform networkfeature extractionedge attention mechanism
发现论文，激发创造
  • DSR-Diff：具有扩散模型的深度地图超分辨率

    色彩引导的深度图超分辨率技术通过扩展高品质彩色图像来提高低质量深度图像的空间分辨率，利于 3D 重建、虚拟现实和增强现实等多方面应用。本文提出一种新颖的深度图超分辨率范式，利用扩散模型在潜在空间中生成深度图超分辨率的引导。该方法包括引导生成网络，深度图超分辨网络和引导恢复网络，并结合简单而有效的特征融合模块和 Transformer 风格的特征提取模块，使其能够在多模型图像的提取、融合和重建中利用引导先验知识。经过广泛的实验证明，在准确性和效率方面，我们的方法在与现有先进方法对比时展现出卓越的性能。我们的代码将在此 https 的 URL 进行公开共享。

    Nov, 2023

  • 细节之中的魔鬼：通过重新思考跨模态对齐和聚合来提升引导式深度超分辨率

    通过重新审视 GDSR 网络的一些关键组件并提出简单但有效的 Dynamic Dual Alignment and Aggregation 网络（D2A2），我们结合 RGB 和深度特征的优势，同时最小化 RGB 图像引入的干扰，通过对模态不匹配进行学习的领域对齐块和学习偏移来减轻模态不匹配的动态双重对齐模块，并通过使用门控机制和像素注意力来过滤 IR 纹理噪声并将有用的特征与深度特征结合起来的掩码到像素特征聚合模块，我们的方法在多个基准数据集上实现了最先进的性能。

    Jan, 2024

  • SGNet: 基于梯度频率感知的结构引导网络用于深度图超分辨率

    我们提出了结构引导网络 (SGNet)，该网络利用梯度和频率域捕捉高频结构，包括梯度校准模块 (GCM) 和频率感知模块 (FAM)，通过实验证明我们的 SGNet 在真实和合成数据集上具有优越性能。

    Dec, 2023

  • BridgeNet: 深度图像超分辨率和单目深度估计联合学习网络

    本文提出一个基于多任务学习的联合深度图超分辨率与单目深度估计网络，采用不同的引导策略设计两个桥梁，一个是用于特征编码过程的高频注意力桥梁，另一个是用于深度图重建过程的内容引导桥梁，实验证明该方法在基准数据集上具有竞争性能。

    Jul, 2021

  • 通过几何空间聚合器学习连续深度表示

    提出了一种基于 Geometric Spatial Aggregator 和 transformer-style backbone 的连续深度表示方法，使深度图超分辨率具备任意尺度的能力，在 NYU v2 等标准深度图基准测试中，相比先前的方法取得了显著的恢复增益。

    Dec, 2022

  • 基于注意力层次多模态融合的高分辨率深度图像成像

    本文提出了一种基于注意力机制多模态融合的层次结构深度图超分辨率网络，可以有效地从低分辨率深度图和高分辨率 RGB 图像中提取并组合有价值的特征以实现超分辨率重建。

    Apr, 2021

  • 结构流导向网络用于真实深度超分辨率

    本文提出了一种新的结构流引导的 DSR 框架，其中学习交叉模态流图来指导 RGB - 结构信息的传输，以实现精确的深度超分辨率提升，经过对真实和合成 DSR 数据集的广泛实验，验证了该方法相对于现有技术的卓越性能。

    Jan, 2023

  • 深度超分辨率对称不确定性感知特征传输

    本文提出了一种新颖的对称不确定性特征传输（SUFT）来解决深度图超分辨率中颜色指导的挑战，包括分辨率差异和跨模态差异，并取得了优于现有方法的表现。

    Jun, 2023

  • 深度图像超分辨率的尖端技术

    本研究提出了一种基于 Swin 变换器架构和非线性激活函数自由网络的联合图像滤波深度图超分辨率算法，并通过数值研究和视觉示例证明了其在保持竞争计算时间的同时提高了最先进性能。

    Jun, 2023

  • Real-GDSR：基于边增强残差网络的实际世界导向 DSM 超分辨率

    通过使用局部细化网络和基于扩散的技术，我们提出了一种名为 REAL-GDSR 的新方法来解决实际世界 DSM（数字表面模型）超分辨率的复杂性问题。我们的方法在定性和定量评估中表现出优于现有方法的效果。

    Apr, 2024