Jun, 2024

RGB-Sonar 跟踪基准及空间交叉注意力变换器追踪器

PDF
TL;DR该研究提出了一个新的 RGB-Sonar 跟踪任务，并研究如何通过 RGB 和声纳模态的相互作用来实现高效的水下目标跟踪。实验结果表明，提出的空间交叉注意力有效地实现了 RGB 和声纳模态之间的交互，而 SCANet 在提出的基准测试中取得了最先进的性能。
发现论文，激发创造
  • 一种统一的 RGB-T 显著性检测基准：数据集，基线，分析和新方法

    通过综合不同模态的输入方式，构建了一个适用于 RGB-T 图像的数据集，并提出了一种新的方法：多任务流形排序与跨模态一致性，大大提高了图像显著性检测的性能。

    Jan, 2017

  • 基于混合注意力的 RGB-T 跟踪

    本文提出了一种基于混合注意机制的 RGB-T 追踪器 (MACFT)，该追踪器在特征提取和特征融合阶段分别利用不同的转换器骨干支路和混合注意操作实现多模式适应性融合，有效提高了 RGB-T 追踪的鲁棒性和适用性。

    Apr, 2023

  • 光学和场景流的注意力多模态融合

    通过使用深度神经网络，并在不同的网络级别中应用自注意力机制以及交叉注意力机制，我们提出了一种名为 FusionRAFT 的方法，实现了早期传感器模态（RGB 和深度）之间的信息融合，以解决 RGB 信息不可靠的问题，在主动配准中取得了比最近方法更好的性能。

    Jul, 2023

  • 学习选择性互注意力和对比度用于 RGB-D 显著性检测

    本文旨在解决如何有效地融合 RGB-D 信息来进行显著目标检测的关键问题。通过提出一个新的互惠关注模型来融合来自不同模态的注意力和上下文信息，实现高阶和三线性交叉信息互补，从而提高 RGB-D SOD 的模型性能。同时，通过添加选择性关注来重新加权深度相关信息，提高模型的鲁棒性。在两个数据集上的实验验证了该模型的有效性。

    Oct, 2020

  • 基于 Transformer 的 RGB-T 跟踪及通道和空间特征融合

    RGB-T 跟踪中，如何更好地融合跨模态特征是核心问题。本文利用直接融合跨模态通道与空间特征的方法，提出了 CSTNet，使用 ViT 作为主干，并插入了跨模态通道特征融合模块和跨模态空间特征融合模块，实现了 RGB 和 TIR 特征的直接交互。通过综合实验，CSTNet 在三个公共 RGB-T 跟踪基准上取得了最好的性能。

    May, 2024

  • 隐形气体探测：一种基于 RGB 热力交叉关注网络的新基准

    化学气体的泄漏及探测是一个重要的问题，本文提出了一种基于红外热像的计算机视觉检测技术以及辅助的多模态网络架构，通过整合来自 RGB 图像的纹理信息和来自热像的气体区域信息，在气体泄漏的检测方面取得了最新成果，优于现有模型的准确率、交叉并集和 F2 度量分别提高了 4.86%、5.65% 和 4.88%。

    Mar, 2024

  • 学习面向目标的双重注意力，实现 RGB-T 跟踪的稳健性

    本文提出了两种用于 RGB-T 目标跟踪的视觉关注机制，其中包括利用 RGB 和热感数据的局部关注和多模态目标驱动关注估计网络的全局关注。在两个 RGB-T 基准数据集上的实验验证了我们提出算法的有效性。

    Aug, 2019

  • RGB-T 对象跟踪：基准与基线

    该研究提出了一个大规模的 RGB-T 追踪视频基准数据集和一种新的基于图的方法，以学习强大的对象表示并实现多源数据融合的自适应融合，对其他最先进的追踪方法进行比较，并提供了对 RGB-T 对象追踪领域的新见解和潜在研究方向。

    May, 2018

  • 基于分组洗牌的多尺度多通道注意力和多模态监督的 RGB-T 目标检测

    提出了一种非常简单的组合打乱多感受注意力（GSMA）模块，用于提取和结合多尺度 RGB 和热能特征，然后将提取的多模态特征直接集成到多级路径聚合网络中，显著改善了融合效果和效率，并通过多模态监督（MS）来充分监督 RGB-T 目标检测，实验证明该模型在保持竞争力的同时达到了最先进的准确性。

    May, 2024

  • SDSTrack: 自蒸馏对称适配器学习用于多模态视觉目标跟踪

    我们提出了一种新的对称多模态跟踪框架 SDSTrack，通过轻量级适应和补充掩膜路径蒸馏策略，提高了跟踪器在复杂环境中的鲁棒性，并在各种多模态跟踪场景中表现出优异结果。

    Mar, 2024