超越视觉线索：同步探索面向目标的语义用于视觉 - 语言追踪

Nov, 2023

超越视觉线索：同步探索面向目标的语义用于视觉 - 语言追踪

Beyond Visual Cues: Synchronously Exploring Target-Centric Semantics for Vision-Language Tracking

Jiawei Ge, Xiangmei Chen, Jiuxin Cao, Xuelin Zhu, Weijia Liu...

TL;DR这篇研究论文介绍了一种新颖的追踪器，通过逐步探索目标中心语义来进行视觉 - 语言追踪，其中包括两个关键模块：目标增强模块（TEM）和语义感知模块（SAM），并采用密集匹配损失以增强多模态表示学习。实验证明了该方法的优越性和有效性。

Abstract

single object tracking aims to locate one specific target in video sequences, given its initial state. Classical trackers rely solely on visual cues, restricting their ability to handle challenges such as appearance variations, ambiguity, and distractions. Hence, Vision-Language (VL) t

single object tracking vision-language tracking target-centric semantics synchronous learning backbone dense matching loss

发现论文，激发创造

将更多关注转移到视觉语言对象追踪上

我们设计了一种有效的视觉 - 语言表示方法，同时为追踪问题构建了一个大型带有语言注释的数据库。通过引入异构架构搜索和模态混合器等核心技术，以及对不同模态之间进行对比损失的引入，我们能够显著改善追踪问题的解决方案，并期望将更多注意力转向视觉 - 语言追踪，为未来的多样化多模态消息追踪开辟更多可能性。

Jul, 2023

迈向视觉语言跟踪的统一标记学习

该研究提出了一种简单、灵活且有效的视觉 - 语言（VL）跟踪管道，称为 MMTrack，它将 VL 跟踪视为一个标记生成任务，并通过将语言描述和边界框序列化为一系列离散标记来实现。通过避免多个子任务的学习和手动设计的损失函数，该设计范式极大地降低了 VL 跟踪建模的复杂性，并允许跟踪器使用简单的交叉熵损失作为统一的优化目标。在 TNL2K、LaSOT、LaSOT_ext 和 OTB99-Lang 基准测试上的广泛实验表明，与其他最先进的方法相比，我们的方法取得了令人满意的结果。

Aug, 2023

统一视觉和视觉 - 语言跟踪的对比学习

单目标跟踪 UVLTrack 是一个统一的跟踪器，可同时处理边界框（BBOX）、自然语言（NL）和两者（NL+BBOX）的参考设置，并具有多种优势，包括模态一致的特征提取器、多模态对比性损失和模态自适应盒子头。在多个数据集上 extensive 实验结果显示，UVLTrack 在视觉跟踪、视觉语言跟踪和视觉定位方面具有有前景的性能。

Jan, 2024

SemiVL: 基于视觉 - 语言引导的半监督语义分割

SemiVL 是一种结合了视觉 - 语言模型的丰富先验知识与半监督语义分割的方法，通过空间微调策略和语言引导解码器的设计，以及提供类别定义的语言指导，实现了更好的语义决策边界。在 4 个语义分割数据集上进行评估时，SemiVL 明显优于以前的半监督方法，例如，在带有 232 个已注释图像的 COCO 上，mIoU 提高了 + 13.5，在带有 92 个标签的 Pascal VOC 上，mIoU 提高了 + 6.1。

Nov, 2023

DTLLM-VLT: 基于 LLM 的视觉语言跟踪多样化文本生成

Visual Language Tracking (VLT) leverages multi-granularity text descriptions to enhance single object tracking (SOT) by providing fine-grained evaluation of multi-modal trackers.

May, 2024

上下文感知自然语言跟踪的语言和视觉参考集成

通过自然语言规范（TNL）追踪是在视频序列中根据初始帧的语言描述来稳定地定位目标的方法。本文提出了一种联合多模态追踪框架，通过提示调制模块和统一目标解码模块实现了时间视觉模板和语言表达之间的补充性，并直接在搜索图像上执行整合的查询，以一步预测目标位置。对 TNL2K、OTB-Lang、LaSOT 和 RefCOCOg 进行了大量实验证明了我们所提出方法的有效性，在追踪和地面连接方面与现有方法具有竞争性能。

Mar, 2024

一体化探索：多模态对齐下的统一视觉语言跟踪

现有主流的视觉语言（VL）跟踪框架由三部分组成，即视觉特征提取器，语言特征提取器和融合模型。本文提出了一个全新的、一体化的框架，通过采用统一的 Transformer 骨干结构，学习联合特征提取和交互，实现了特征的统一融合，消除了特征集成和融合模块的需求，从而在视觉语言跟踪方面获得了更有效和高效的结果。

Jul, 2023

利用语义完形学习进行视觉语言预训练的漏洞填补

本文提出新的语义完成学习任务，以便于视觉语言预训练（VLP）模型学习多模态数据的全局语义特征，从而实现全局到局部的对其，同时采用一种灵活的视觉编码器使得该模型可以同时执行图像 - 文本与视频 - 文本的多模态任务，实验结果证明该方法在各种视觉语言基准测试中均获得了最新的性能。

Nov, 2022

更多关注视觉语言跟踪

本文介绍一种基于 ConvNets 和多模态视觉语言 (VL) 的追踪方法，通过模态混合器（ModaMixer）和不对称的 ConvNet 搜索，学习新颖的统一自适应 VL 表示，仅使用 ConvNets 能够在 SOTA 追踪中表现出色，甚至超过几个基于 Transformer 的 SOTA 追踪器。

Jul, 2022

歌词：通过语义感知视觉对象增强细粒度语言视觉对齐和理解

一种新的多模式预训练和指令微调范式 Lyrics，通过细粒度的跨模态协作，将从细粒度视觉精炼器中提取的局部视觉特征注入到查询转换器中，同时，在语言输入的边界框和标签方面使用从视觉精炼器中推导出的信息，通过两阶段训练方案实现模态融合，从而在各种视觉语言任务中取得了强大的性能和有希望的多模态理解和详细描绘能力。

Dec, 2023