Mar, 2024

学习层次化的颜色指导用于深度图超分辨率

PDF
TL;DR本文提出了一种 Hierarchical Color Guidance 网络，通过在低级阶段以残差掩模方式补充深度特征的高频彩色信息，以及使用编码全局指导信息的语义掩模来实现语义一致性重建，从而实现 DSR。与现有方法相比，在四个基准数据集上，我们的方法在定性和定量上都取得了更具竞争力的性能。
depth map super-resolutioncolor informationhierarchical color guidance networkattention-based feature projectionsemantic consistency
发现论文，激发创造
  • 基于注意力层次多模态融合的高分辨率深度图像成像

    本文提出了一种基于注意力机制多模态融合的层次结构深度图超分辨率网络，可以有效地从低分辨率深度图和高分辨率 RGB 图像中提取并组合有价值的特征以实现超分辨率重建。

    Apr, 2021

  • 基于跨任务知识迁移的场景结构指导学习：单深度超分辨率

    在没有 RGB-D 成对数据的情况下，为第一次探索如何在训练阶段学习跨模态知识，并在单一深度模态的目标数据集上进行测试。通过构建一个辅助深度估计任务，实现了 RGB 模态中的场景结构指导知识到单一深度模态下的 DSR 任务的跨任务交互。广泛实验表明，该方案相较于其他 DSR 方法表现优异。

    Mar, 2021

  • 结构流导向网络用于真实深度超分辨率

    本文提出了一种新的结构流引导的 DSR 框架，其中学习交叉模态流图来指导 RGB - 结构信息的传输，以实现精确的深度超分辨率提升，经过对真实和合成 DSR 数据集的广泛实验，验证了该方法相对于现有技术的卓越性能。

    Jan, 2023

  • SGNet: 基于梯度频率感知的结构引导网络用于深度图超分辨率

    我们提出了结构引导网络 (SGNet)，该网络利用梯度和频率域捕捉高频结构，包括梯度校准模块 (GCM) 和频率感知模块 (FAM)，通过实验证明我们的 SGNet 在真实和合成数据集上具有优越性能。

    Dec, 2023

  • 深度超分辨率的循环结构注意力指导

    本文提出了一种基于递归结构注意力引导的深度超分辨率网络，采用对比网络来进行自适应的高频信号提取，并利用递归结构注意力块来提供准确的深度恢复引导，实现了在深度超分辨率任务上的优异性能。

    Jan, 2023

  • BridgeNet: 深度图像超分辨率和单目深度估计联合学习网络

    本文提出一个基于多任务学习的联合深度图超分辨率与单目深度估计网络，采用不同的引导策略设计两个桥梁，一个是用于特征编码过程的高频注意力桥梁，另一个是用于深度图重建过程的内容引导桥梁，实验证明该方法在基准数据集上具有竞争性能。

    Jul, 2021

  • DSR-Diff：具有扩散模型的深度地图超分辨率

    色彩引导的深度图超分辨率技术通过扩展高品质彩色图像来提高低质量深度图像的空间分辨率，利于 3D 重建、虚拟现实和增强现实等多方面应用。本文提出一种新颖的深度图超分辨率范式，利用扩散模型在潜在空间中生成深度图超分辨率的引导。该方法包括引导生成网络，深度图超分辨网络和引导恢复网络，并结合简单而有效的特征融合模块和 Transformer 风格的特征提取模块，使其能够在多模型图像的提取、融合和重建中利用引导先验知识。经过广泛的实验证明，在准确性和效率方面，我们的方法在与现有先进方法对比时展现出卓越的性能。我们的代码将在此 https 的 URL 进行公开共享。

    Nov, 2023

  • 离散余弦变换网络用于引导深度图超分辨率

    提出一种新颖的离散余弦变换网络（DCTNet）来解决多模态图像处理中导向深度超分辨率（GDSR）的挑战，包括理解工作机制、提取跨模态特征和减弱 RGB 纹理过度传递，通过离散余弦变换模块、半耦合特征提取模块和边缘注意机制来分别解决这些问题。实验结果表明，DCTNet 的性能比之前最先进的方法更好，在参数数量相对较小的情况下能够更好地处理导向深度超分辨率。

    Apr, 2021

  • 深度图超分辨率的多尺度渐进融合学习

    本研究提出一种多尺度渐进融合网络方法来处理深度图像的超分辨率问题，该方法采用异态结构用于整合不同领域的层次特征，并引入多维损失函数来约束明确的边界和细节，大量实验证明该方法在定性和定量方面均产生了优于最先进方法的改进结果。

    Nov, 2020

  • 细节之中的魔鬼：通过重新思考跨模态对齐和聚合来提升引导式深度超分辨率

    通过重新审视 GDSR 网络的一些关键组件并提出简单但有效的 Dynamic Dual Alignment and Aggregation 网络（D2A2），我们结合 RGB 和深度特征的优势，同时最小化 RGB 图像引入的干扰，通过对模态不匹配进行学习的领域对齐块和学习偏移来减轻模态不匹配的动态双重对齐模块，并通过使用门控机制和像素注意力来过滤 IR 纹理噪声并将有用的特征与深度特征结合起来的掩码到像素特征聚合模块，我们的方法在多个基准数据集上实现了最先进的性能。

    Jan, 2024