热红外追踪的多任务驱动特征模型
本研究提出一种多层相似性模型来提高红外物体跟踪的辨别能力,其中利用了卷积层计算 TIR 对象的全局语义相似度和本地结构相似度,通过一种相对熵的集成子网络进行集成,并构建了大规模 TIR 视频序列数据集以优化算法效果。
Jun, 2019
提出了一种深度学习的图像跟踪方法,将 RGB 图像和红外热像合并进行特征提取和人工属性应用的跟踪,此方法在 RGBT234 和 LasHeR 这两个最广泛使用的 RGBT 目标跟踪数据集上表现优异。
Jul, 2023
使用图像到图像翻译模型,将可得的 RGB 数据转换成合成 TIR 数据用于 TIR 跟踪中的端到端特征的训练,并在 VOT-TIR2017 数据集上进行实验,发现相对于仅训练可得真实 TIR 数据或人工构建特征的方法,使用合成数据进行训练可以显著提高跟踪性能且通过与运动特征的结合可以进一步改进。
Jun, 2018
本文提出了一种热红外跟踪器,命名为 HSSNet,它使用层次空间感知 Siamese 卷积神经网络来验证相似性并生成更强的可辨别能力,与其他方法相比,在 VOT-TIR 2015 和 VOT-TIR 2016 基准测试上取得了较好的性能表现。
Nov, 2017
本研究提出利用跨模态蒸馏技术从大量无标签 RGB-TIR 数据中提炼 TIR 模态的目标表示,作为热红外追踪的优化方法,并利用 RGB 和 TIR 图像中的语义信息进行 “蒸馏损失” 的监督学习,成功地推广到 LSOTB-TIR 和 PTB-TIR 数据集中,比基线跟踪器的绝对增益显著。
Jul, 2021
提出了一种融合红外和可见光图像的端到端相似跟踪框架,这个框架通过特征级别的融合机制,在特征提取、目标估计网络和分类器三个主要部件中提高了单模态组件的表现表现,并在 VOT-RGBT2019 数据集上获得了 0.391 的准确率,进而取得 RGBT210 数据集的最佳表现。
Aug, 2019
本文提出了两种用于 RGB-T 目标跟踪的视觉关注机制,其中包括利用 RGB 和热感数据的局部关注和多模态目标驱动关注估计网络的全局关注。在两个 RGB-T 基准数据集上的实验验证了我们提出算法的有效性。
Aug, 2019
本文提出了一种利用大边界结构卷积算子 (LMSCO)、空间规则化和隐式插值获取持续深特征图实现 TIR 物体追踪的方法,并通过协作优化策略得到新的操作符,继承 SOSVM 强大辨识能力优势,使用高维特征和更密集样本实现准确、鲁棒性高的 TIR 物体追踪,该方法在两个热红外追踪基准测试中具有出色的结果,在准确性和鲁棒性方面优于大多数最先进的追踪器,帧速度足够
Apr, 2018
本文提出了一个利用深度学习和数据增强的热红外(TIR)远程目标检测系统,该系统针对海上救援进行研究。通过使用 TIR 相机(FLIR)建立了一个自采集的 TIR 数据集,其中包括多个模拟人类救援情境的场景。此外,为了解决数据集稀缺和改善模型的鲁棒性,还收集了一个合成数据集,该数据集是从一个 3D 游戏(ARMA3)中获取的。然而,合成 TIR 图像与真实 TIR 图像之间存在显著的领域差距。因此,为了解决这个问题,本文建议了一种基于生成模型的从 3D 游戏到真实情况下的目标 - 背景分离领域自适应算法。此外,还提出了一个带有固定权重内核的分割网络,以改善信噪比(SNR)并提供弱注意力,因为远程 TIR 目标本质上具有不清晰的边界。实验结果表明,用包含翻译合成和真实 TIR 数据的增强数据训练的网络在性能上明显优于只使用真实 TIR 数据进行训练的网络。此外,所提出的分割模型超越了最先进的分割方法的性能。
Oct, 2023
提出了一种名为 UniRGB-IR 的可扩展和高效框架,利用适应器(adapter)将丰富的 RGB-IR 特征引入基于 RGB 的预先训练基础模型,该方法在各种 RGB-IR 下游任务上实现了最先进的性能。
Apr, 2024