Dec, 2023

多尺度渐进特征嵌入准确的近红外到 RGB 光谱域转换

PDF
TL;DR通过多尺度渐进特征嵌入网络（MPFNet）引导灰度图像上色的方法，解决了 NIR 到 RGB 光谱域翻译中的映射歧义和现有方法学习能力有限的问题，实验证明 MPFNet 在 NIR 到 RGB 光谱域翻译任务中相对于最先进的方法在 PSNR 方面提高了 2.55 dB。
nir-to-rgb spectral domain translationmulti-scale progressive feature embedding network (mpfnet)grayscale image colorizationdomain translation modulelearning capabilities
发现论文，激发创造
  • 多尺度 HSV 颜色特征嵌入用于高保真近红外到 RGB 光谱转换

    通过将过程分解为 NIR 纹理维护、粗糙几何重建和 RGB 颜色预测，我们提出了一种多尺度 HSV 颜色特征嵌入网络（MCFNet），通过一系列逐渐增加分辨率的方法系统地解决光谱转换问题，以在规模协调的方式下逐步丰富图像的颜色和纹理保真度。

    Apr, 2024

  • 合作着色：探索潜在的跨域先验对 NIR 图像光谱转换

    通过协作学习范式，利用潜在的跨域先验知识进行双向的全色与 NIR 色彩化任务，并通过渐进的微调和融合方法，在近红外图像光谱转换任务中表现出色，并在 NIR 和灰度色彩化任务上分别优于现有方法 4.66dB 和 3.95dB。

    Aug, 2023

  • 使用深度卷积神经网络的红外图像上色

    本文介绍了一种使用深度多尺度卷积神经网络将 RGB 彩色谱转换为近红外 (NIR) 图像的方法，通过 NIR 和 RGB 像素之间的直接集成传输来训练模型，不需要任何用户指导或参考图像数据库，在召回阶段生成具有自然外观的图像，并通过保留 NIR 图像的丰富细节，将其高频特征转移至估算的 RGB 图像，本方法在一个真实世界的数据集上进行了训练和评估，该数据集包含大量夏季道路场景图像，由多 CCD NIR/RGB 相机捕获，保证了完美的像素对齐。

    Apr, 2016

  • MFPNet: 轻量级语义分割的多尺度特征传播网络

    我们提出了一种新颖的轻量级分割架构，名为多尺度特征传播网络 (MFPNet)，通过设计具有柔性瓶颈残差模块的鲁棒的编码器 - 解码器结构，探索深入且丰富的多尺度语义上下文，同时利用图卷积网络 (GCNs)，在瓶颈残差模块之间进行多尺度特征传播，最终在基准数据集上表现出优异的分割结果。

    Sep, 2023

  • 通过双提示学习实现高效多模态语义分割

    通过采用冻结预训练的 RGB 模型，并结合双提示学习模块（多模态提示生成器和多模态特征适配器），DPLNet 在多模态语义分割任务中达到了新的最佳性能，同时保持了参数的高效利用。

    Dec, 2023

  • RGB-T 语义分割的变分概率融合网络

    本研究提出了一种基于变分推断的概率融合网络（VPFNet），采用随机特征样本平均，引入加权交叉熵损失函数、光照和类别先验信息，应对 RGB 和热红外图像融合语义分割中的模态噪声、类不平衡和模态偏差问题，在 MFNet 和 PST900 数据集上实验结果显示该网络取得了最佳的分割性能。

    Jul, 2023

  • 学习多尺度特征进行前景分割

    本文提出了一种新的鲁棒性编码器解码器结构的神经网络，使用少量的训练示例进行端到端的训练，通过特征融合在 Feature Pooling Module 中提取多尺度特征，实现对相机运动的鲁棒特征池化，免去多尺度输入的需求，通过 CDnet2014、SBI2015 和 UCSD Background Subtraction 数据集的实验表明，所提出的方法的整体 F-Measure 平均值优于现有所有最先进的方法。

    Aug, 2018

  • UniRGB-IR: 可见光 - 红外下游任务统一框架：适配器调整

    提出了一种名为 UniRGB-IR 的可扩展和高效框架，利用适应器（adapter）将丰富的 RGB-IR 特征引入基于 RGB 的预先训练基础模型，该方法在各种 RGB-IR 下游任务上实现了最先进的性能。

    Apr, 2024

  • 基于单一示例的可见光和红外自我监督融合训练

    该研究提出了一种可见光与近红外图像融合的方法，通过使用 RGBT 传感器获取的可见图像和近红外通道的信息，利用 SSIM 损失和边缘保护等技术进行融合，并在实验证明相比其他方法，该方法在多光谱融合方面取得了更好的结果。

    Jul, 2023

  • MRFP：利用多分辨率特征扰动从 Sim-2-Real 学习可泛化语义分割

    本研究提出了一种新颖的多分辨率特征扰动（MRFP）技术，通过对领域特定的细粒度特征进行随机扰动和对粗特征的风格进行扰动，以提升神经网络在语义分割中的鲁棒性和域不变性。实验结果表明，除了风格信息的扰动外，对细粒度特征的扰动对于学习域不变鲁棒特征映射至关重要。MRFP 是一个简单且计算效率高的可传递模块，不需要额外的可学习参数或目标函数，有助于现有深度神经网络在模拟到真实场景的语义分割中学习到鲁棒的域不变特征。

    Nov, 2023