Nov, 2023

学习历史状态提示以实现准确和强健的视觉跟踪

PDF
TL;DR该研究提出了一种历史信息提示器（HIP）和基于 HIP 模块的 HIPTrack，以增强跟踪器的历史信息提供，进而显著提高跟踪性能。该方法在 LaSOT、LaSOT ext、GOT10k 和 NfS 数据集上表现优于目前所有最先进的方法，并且 HIP 模块具有很高的通用性，可以无缝集成到跟踪器中以提高跟踪性能。
发现论文，激发创造
  • 直接视觉提示用于视觉目标跟踪

    提出了一种基于明确视觉提示框架的视觉跟踪方法 EVPTrack，通过利用时空令牌在连续帧之间传播信息，生成明确的视觉提示，从而有效利用时空和多尺度信息，提升了模型的效率和性能。

    Jan, 2024

  • 探索轻量级分层视觉转换器用于高效视觉跟踪

    引入 HiT 模型和 Bridge Module 以及双图像位置编码技术，实现高速且性能优越的追踪模型。

    Aug, 2023

  • 基于历史外貌匹配和场景自适应检测过滤的在线多目标跟踪

    本文提出了用于处理多目标跟踪中的时间错误的方法，其中历史外观匹配方法和经过 2 步训练的联合输入孪生网络可防止跟踪失败，并提供了有效去除噪声检测的技术。

    May, 2018

  • STMTrack: 使用时空记忆网络进行无模板视觉跟踪

    本文提出一种基于空时内存网络的新型追踪框架，利用历史信息以适应目标外观的变化，采用像素级相似度计算实现更精准的边界框生成，能够在真实时间下跟踪并优于先前所有最先进的实时方案。

    Apr, 2021

  • 视觉提示的多模式跟踪

    本文提出了一种基于视觉提示学习的多模态跟踪方法，通过学习模态相关的提示来适应预训练好的基础模型，在 RGB + 深度、RGB + 热等多个跟踪任务中表现优秀，实现了参数效率和最先进性的平衡。

    Mar, 2023

  • 为历史图像数据集创作使用基础模型的文本 - 图像提示研究

    利用基础模型提取历史文献中的图像，并评估不同语言提示对人文学科不同级别的数据集上的效果。

    Sep, 2023

  • 从全局表示内存中读取相关特征进行视觉目标跟踪

    通过引入关联性注意机制和全局表示记忆，我们提出了一种新的跟踪范式，该范式可以自适应地帮助搜索区域选择最相关的参考特征的历史信息，以减少冗余，提升跟踪性能。

    Feb, 2024

  • 多模态追踪的提示

    本研究提出一种基于 prompt 范式的多模态 prompt 跟踪器 ProTrack，通过最大程度地利用 RGB 跟踪器预训练的跟踪能力，仅通过修改输入即可实现高性能的多模态跟踪，对 5 个基准数据集进行的大量实验证明了 ProTrack 的有效性。

    Jul, 2022

  • HiFT：用于航拍跟踪的分层特征变换器

    本文提出了一种基于 Siamese 的跟踪方法，采用分层特征变换对多级卷积层生成的分层相似度图进行交互式融合，提高了全局的上下文信息，更高效地学习多级特征之间的相互依赖关系，并且实现了在实时速度情况下的实际应用，该方法在四个空中基准测试中被证明具有很好的效果。

    Jul, 2021

  • 基于多模态互相提示学习的 RGB-T 跟踪

    基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

    Aug, 2023