提出一种新颖的离散余弦变换网络（DCTNet）来解决多模态图像处理中导向深度超分辨率（GDSR）的挑战，包括理解工作机制、提取跨模态特征和减弱 RGB 纹理过度传递，通过离散余弦变换模块、半耦合特征提取模块和边缘注意机制来分别解决这些问题。实验结果表明，DCTNet 的性能比之前最先进的方法更好，在参数数量相对较小的情况下能够更好地处理导向深度超分辨率。

Apr, 2021

本文提出了一种基于注意力机制多模态融合的层次结构深度图超分辨率网络，可以有效地从低分辨率深度图和高分辨率 RGB 图像中提取并组合有价值的特征以实现超分辨率重建。

Apr, 2021

我们提出了结构引导网络 (SGNet)，该网络利用梯度和频率域捕捉高频结构，包括梯度校准模块 (GCM) 和频率感知模块 (FAM)，通过实验证明我们的 SGNet 在真实和合成数据集上具有优越性能。

Dec, 2023

色彩引导的深度图超分辨率技术通过扩展高品质彩色图像来提高低质量深度图像的空间分辨率，利于 3D 重建、虚拟现实和增强现实等多方面应用。本文提出一种新颖的深度图超分辨率范式，利用扩散模型在潜在空间中生成深度图超分辨率的引导。该方法包括引导生成网络，深度图超分辨网络和引导恢复网络，并结合简单而有效的特征融合模块和 Transformer 风格的特征提取模块，使其能够在多模型图像的提取、融合和重建中利用引导先验知识。经过广泛的实验证明，在准确性和效率方面，我们的方法在与现有先进方法对比时展现出卓越的性能。我们的代码将在此 https 的 URL 进行公开共享。

Nov, 2023

提出了一种基于 Geometric Spatial Aggregator 和 transformer-style backbone 的连续深度表示方法，使深度图超分辨率具备任意尺度的能力，在 NYU v2 等标准深度图基准测试中，相比先前的方法取得了显著的恢复增益。

Dec, 2022

在没有 RGB-D 成对数据的情况下，为第一次探索如何在训练阶段学习跨模态知识，并在单一深度模态的目标数据集上进行测试。通过构建一个辅助深度估计任务，实现了 RGB 模态中的场景结构指导知识到单一深度模态下的 DSR 任务的跨任务交互。广泛实验表明，该方案相较于其他 DSR 方法表现优异。

Mar, 2021

本文提出一个基于多任务学习的联合深度图超分辨率与单目深度估计网络，采用不同的引导策略设计两个桥梁，一个是用于特征编码过程的高频注意力桥梁，另一个是用于深度图重建过程的内容引导桥梁，实验证明该方法在基准数据集上具有竞争性能。

Jul, 2021

提出了一种基于图匹配和最优传输计算的 RGB-IR ReID 模型，能够通过构建多尺度人体骨架图、匹配任务和信息融合等机制，确保跨模态图像的整体一致性、局部结构关联和语义特征的区分性。

Jun, 2021

本文提出了一种新的结构流引导的 DSR 框架，其中学习交叉模态流图来指导 RGB - 结构信息的传输，以实现精确的深度超分辨率提升，经过对真实和合成 DSR 数据集的广泛实验，验证了该方法相对于现有技术的卓越性能。

Jan, 2023

本文提出了一种统一且高效的跨模态引导编码器，通过分离 - 聚合门技术，不仅可以有效地校准 RGB 特征响应，而且可以通过多个阶段和交替聚合两个重新校准的表示来提取准确的深度信息，同时引入双向多步传播策略来提高 RGB-D 语义分割性能.

Jul, 2020