Apr, 2024

多尺度 HSV 颜色特征嵌入用于高保真近红外到 RGB 光谱转换

PDF
TL;DR通过将过程分解为 NIR 纹理维护、粗糙几何重建和 RGB 颜色预测，我们提出了一种多尺度 HSV 颜色特征嵌入网络（MCFNet），通过一系列逐渐增加分辨率的方法系统地解决光谱转换问题，以在规模协调的方式下逐步丰富图像的颜色和纹理保真度。
nir-to-rgb spectral domain translationmulti-scale hsv color feature embedding network (mcfnet)nir texture maintenancecoarse geometry reconstructionrgb color prediction
发现论文，激发创造
  • 多尺度渐进特征嵌入准确的近红外到 RGB 光谱域转换

    通过多尺度渐进特征嵌入网络（MPFNet）引导灰度图像上色的方法，解决了 NIR 到 RGB 光谱域翻译中的映射歧义和现有方法学习能力有限的问题，实验证明 MPFNet 在 NIR 到 RGB 光谱域翻译任务中相对于最先进的方法在 PSNR 方面提高了 2.55 dB。

    Dec, 2023

  • MCFNet: 实时语义分割的多尺度协方差特征融合网络

    基于 BiseNet 的多尺度协方差特征融合网络 (MCFNet) 提出了一种新的架构，引入了新的特征细化模块和特征融合模块，并提出了名为 L-Gate 的门控单元来过滤无效信息和融合多尺度特征，实验结果显示我们的方法在 Cityscapes 和 CamVid 数据集上取得了竞争性的成功，其中在 Cityscapes 数据集上获得了 75.5% 的平均交并比 (mIOU) 和 151.3FPS 的速度。

    Dec, 2023

  • 使用深度卷积神经网络的红外图像上色

    本文介绍了一种使用深度多尺度卷积神经网络将 RGB 彩色谱转换为近红外 (NIR) 图像的方法，通过 NIR 和 RGB 像素之间的直接集成传输来训练模型，不需要任何用户指导或参考图像数据库，在召回阶段生成具有自然外观的图像，并通过保留 NIR 图像的丰富细节，将其高频特征转移至估算的 RGB 图像，本方法在一个真实世界的数据集上进行了训练和评估，该数据集包含大量夏季道路场景图像，由多 CCD NIR/RGB 相机捕获，保证了完美的像素对齐。

    Apr, 2016

  • HAPNet：基于混合、非对称和渐进异构特征融合的卓越 RGB - 热场景解析

    本研究探讨了一种利用 VFM 特征进行 RGB - 热像场景解析的可行策略，设计了一个混合的非对称编码器，结合了 VFM 和卷积神经网络，通过逐步融合互补的异构特征，并引入辅助任务来改善解析性能，最终实现优于所有其他现有 RGB - 热像场景解析网络的性能。

    Apr, 2024

  • 基于 Transformer 的 RGB-T 跟踪及通道和空间特征融合

    RGB-T 跟踪中，如何更好地融合跨模态特征是核心问题。本文利用直接融合跨模态通道与空间特征的方法，提出了 CSTNet，使用 ViT 作为主干，并插入了跨模态通道特征融合模块和跨模态空间特征融合模块，实现了 RGB 和 TIR 特征的直接交互。通过综合实验，CSTNet 在三个公共 RGB-T 跟踪基准上取得了最好的性能。

    May, 2024

  • 基于交叉通道空间 - 谱线索的高光谱图像重建

    通过对色彩间的相互依赖进行研究，利用嵌入的特征在复合空间中查询通道间的相关性，提出了 CESST 方法，它能够揭示边缘光谱特征，并在所有维度上高效地融合独特和互补信息，大大促进了信息的挖掘与融合，实现了 SOTA 性能。

    Dec, 2023

  • 基于单一示例的可见光和红外自我监督融合训练

    该研究提出了一种可见光与近红外图像融合的方法，通过使用 RGBT 传感器获取的可见图像和近红外通道的信息，利用 SSIM 损失和边缘保护等技术进行融合，并在实验证明相比其他方法，该方法在多光谱融合方面取得了更好的结果。

    Jul, 2023

  • RGB - 热图像残差空间融合网络用于语义分割

    本文提出了一种基于 Residual Spatial Fusion Network 的 RGB-Thermal 语义分割方法，通过采用不对称编码器和 Saliency Detection 生成伪标签来学习 RGB 和热成像的补偿特征，并通过使用 Residual Spatial Fusion (RSF) 模块来实现跨模态特征的空间融合，最终在 MFNet 数据库和 PST900 数据库上实现了最新的分割性能。

    Jun, 2023

  • 合作着色：探索潜在的跨域先验对 NIR 图像光谱转换

    通过协作学习范式，利用潜在的跨域先验知识进行双向的全色与 NIR 色彩化任务，并通过渐进的微调和融合方法，在近红外图像光谱转换任务中表现出色，并在 NIR 和灰度色彩化任务上分别优于现有方法 4.66dB 和 3.95dB。

    Aug, 2023

  • UniRGB-IR: 可见光 - 红外下游任务统一框架：适配器调整

    提出了一种名为 UniRGB-IR 的可扩展和高效框架，利用适应器（adapter）将丰富的 RGB-IR 特征引入基于 RGB 的预先训练基础模型，该方法在各种 RGB-IR 下游任务上实现了最先进的性能。

    Apr, 2024