Apr, 2024

UniRGB-IR: 可见光 - 红外下游任务统一框架：适配器调整

PDF
TL;DR提出了一种名为 UniRGB-IR 的可扩展和高效框架，利用适应器（adapter）将丰富的 RGB-IR 特征引入基于 RGB 的预先训练基础模型，该方法在各种 RGB-IR 下游任务上实现了最先进的性能。
semantic analysisvisible and infrared imagesrgb-ir downstream tasksadaptervit-base
发现论文，激发创造
  • 隐式多光谱转换器：一种轻量且有效的可见光到红外图像转换模型

    通过使用基于 Transformer 的新型模型，将可见光图像转换为高保真红外图像，从而解决了低光条件下可见光图像对比度低的问题，并比现有方法在质量和数量上都有显着优势，为红外图像的下游应用提供了更有效的支持。

    Apr, 2024

  • 热红外追踪的多任务驱动特征模型

    该论文提出了一种基于多任务学习的框架，学习适用于红外追踪的特征模型，并使用大规模红外训练数据集来优化该模型。在三个基准测试中，实验结果表明，该算法的相对增益达到 10％，表现优于现有的方法。

    Nov, 2019

  • VIFNet：一种用于图像去雾的端到端可见 - 红外融合网络

    设计了一个可见 - 红外融合网络用于图像去雾，并通过多尺度深度结构特征提取模块和不一致性加权融合策略，充分利用红外图像的信息来改善效果，实验证明 VIFNet 优于现有方法。

    Apr, 2024

  • 高效 RGB-T 跟踪的统一单级 Transformer 网络

    我们提出了一个统一的单阶段 Transformer RGB-T 跟踪网络，名为 USTrack，它通过自注意机制将上述三个阶段统一到一个 ViT（Vision Transformer）主干中，并利用模态之间的相互作用提取融合特征，增强预测的目标 - 背景区分度，同时通过模态可靠性的特征选择机制改善跟踪性能。通过在三个流行的 RGB-T 跟踪基准上进行广泛实验，证明我们的方法在保持最快推理速度 84.2FPS 的同时，实现了新的最先进性能，特别是在 VTUAV 数据集的短期和长期子集上，MPR/MSR 分别增加了 11.1% 和 11.3%。

    Aug, 2023

  • 多模态追踪的双向适配器

    通过引入多模态图像以弥补单一成像传感器的限制，我们提出了一种基于通用双向适配器的新型多模态视觉提示跟踪模型，通过交互式互补多模态信息，实现了优良的跟踪性能。

    Dec, 2023

  • 超越夜间可见性：红外和可见光图像的自适应多尺度融合

    提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

    Mar, 2024

  • 双模先验语义引导的红外和可见光图像融合在智能交通系统中的应用

    基于双模性策略的先验语义引导图像融合方法提供了在智能交通系统中提高红外和可见光图像融合性能的新途径，通过设计并应用两个并行的语义分割支路和一种自适应调制机制，捕捉和整合了两个图像的重要的先验语义信息，并通过多级表示自适应融合模块进一步整合高层语义和细节，优于现有图像融合方法。

    Mar, 2024

  • 无源域适应方法在 RGB-D 语义分割中的应用：基于 Vision Transformers

    研究基于深度传感器的多模态框架和基于视觉变换器的源自由语义分割的深度感知方法，通过混合特征和深度信息以及深度基础熵最小化方法，能够提高分割效果。

    May, 2023

  • UniAdapter：跨模态建模的统一参数高效迁移学习

    该论文提出 UniAdapter，通过部分权重共享实现单模态和多模态适配器的统一设计，从而实现在预训练的视觉语言模型上进行跨模态自适应，仅需预训练模型的 1.0％-2.0％可调参数，实现强大的跨模态表示，对于各种下游任务都有益处，并在六项跨模态下游基准测试中表现出色。

    Feb, 2023

  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023