从任何地方借用：热成像伪多模态目标检测

CVPRMay, 2019

从任何地方借用：热成像伪多模态目标检测

Borrow from Anywhere: Pseudo Multi-modal Object Detection in Thermal Imagery

Chaitanya Devaguptapu, Ninad Akolekar, Manuj M Sharma, Vineeth N Balasubramanian

TL;DR本文中，我们提出使用基于图像域数据训练的伪多模态对象检测器，在热成像中改善对象检测的性能，并指出我们的框架优于现有的基准，并具有在使用我们的方法时以更少的热成像数据进行学习的能力。

Abstract

Can we improve detection in the thermal domain by borrowing features from rich domains like visual RGB? In this paper, we propose a pseudo-multimodal object detector trained on natural image domain data to help improve the performance of object detection in thermal images. We assume access to a large-scale dataset in the visual RGB domain and relatively smal

thermal detection pseudo-multimodal object detector multi-modal architecture image-to-image translation domain adaptation

发现论文，激发创造

低光条件下可见光到热像转换以提高视觉任务效果

本文提出了一种利用生成网络和检测网络将 RGB 图像转化为热成像图像的端到端框架，并通过生成的热成像图像与真实数据进行比较，论证了使用生成对抗网络将 RGB 训练数据转化为热成像数据的可行性，从而加快和降低生成热成像数据的成本，满足安全应用的需求。

Oct, 2023

自我训练引导的对抗域适应在热成像中的应用

利用深度模型进行的大规模 RGB 图像数据集的训练已经取得了巨大成功。本文提出一种无监督领域自适应方法，该方法结合了光谱和热图像模态，通过自训练引导的对抗领域自适应方法促进了对目标领域更广义的表示学习。

Jun, 2021

HeatNet: 利用热成像技术缩小昼夜间语义分割差距

本文提出了一种多模态语义分割模型，可以适用于日间和夜间场景，通过引入热成像技术和 RGB 照片，利用现有白天 RGB 数据集实现对夜间图像的学习，并提出了一个新的域对齐训练方法，在自动驾驶方面获得了最新的夜间语义分割结果。

Mar, 2020

基于分组洗牌的多尺度多通道注意力和多模态监督的 RGB-T 目标检测

提出了一种非常简单的组合打乱多感受注意力（GSMA）模块，用于提取和结合多尺度 RGB 和热能特征，然后将提取的多模态特征直接集成到多级路径聚合网络中，显著改善了融合效果和效率，并通过多模态监督（MS）来充分监督 RGB-T 目标检测，实验证明该模型在保持竞争力的同时达到了最先进的准确性。

May, 2024

基于多模态互相提示学习的 RGB-T 跟踪

基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

Aug, 2023

基于场景特定融合模块的 RGB-X 物体检测

多模式深度传感器融合为自动驾驶车辆在各种天气条件下实现视觉理解提供了潜力，本研究提出了一种高效、模块化的 RGB-X 融合网络，通过场景特定的融合模块，实现了利用预训练的单模态模型进行融合，从而使用小型、核心配准的多模态数据集创建联合输入自适应的网络架构，在 RGB - 热成像和 RGB - 门控数据集上表现出了优越性，仅使用少量额外的参数进行融合。

Oct, 2023

单个热成像的多模态传感器融合超分辨率

本文提出了一种基于深度学习的解决方案，通过多模态图像融合模型来提高热红外图像的分辨率，并研究了一系列网络架构、上采样方法、学习过程以及优化函数对图像超分辨率问题的有益作用，并提出了一个基准数据集进行定量评估

Dec, 2018

基于光谱转换引导的热像主动领域适应

提出了一种新的主动领域自适应方法来结合可见光与热成像模态，选择最具信息价值的未标记目标样本并在源域和目标域之间进行对齐，在可见光到热成像任务中，可以发现没有明确领域对准的方法不能充分利用数据，通过广泛的试验评估，显示出该方法优于现有的主动领域自适应方法。

Apr, 2023

跨域多模态 RGB-D 场景识别

本文提出了一种自适应景观识别方法，该方法使用 RGB 和深度图像之间的自监督转换，以解决多模态数据集之间的领域转移问题，并证明其在不同相机采集的数据之间具有很强的泛化能力。

Mar, 2021

MiPa：混合补丁红外 - 可见光模态无关目标检测

该研究提出了一种使用两种模态的不同方式，使得单一模型能够处理任何模态，研究了如何有效地利用可见光和红外 / 热模态来创建基于 Transformer 的物体检测模型，并引入了新颖的 MiPa 训练技术，通过达到可竞争的结果平衡模态，最终能够在单一模态推理下击败多模态融合方法。

Apr, 2024