Oct, 2022

ProContEXT: 探索逐渐演变的上下文变换器用于跟踪

PDF
TL;DR本研究提出了一种基于 Progressive Context Encoding 的可变模板追踪，利用空间和时间上下文预测物体运动轨迹，同时探索了多种上下文的建模方法并在多个基准数据集上获得了最先进的性能。
visual object trackingprogressive context encodingtransformer trackerspatial and temporal contextsmulti-context modeling
发现论文，激发创造
  • 基于时间上下文的真实世界视觉跟踪

    提出了一种利用时间上下文的双层框架 (TCTrack)，用于实现更强大的现实世界视觉跟踪，并在特征提取和相似度图优化方面进行了改进。

    Aug, 2023

  • PTSEFormer: 渐进式时空增强 Transformer 用于视频目标检测

    本论文提出了一种基于 PTSEFormer 的对象检测方法，该方法引入了上下文框架、时间信息、空间信息来提高模型性能，其通过注意力机制与视觉特征的集成实现时间信息的引入，同时通过 Spatial Transition Awareness Model 实现了上下文特征之间的空间信息的集成，最终在 ImageNet VID 数据集上取得了 88.1% mAP 的表现。

    Sep, 2022

  • Transformer Meets Tracker: 挖掘时间上下文，提高鲁棒性视觉跟踪

    本文提出了一个基于 transformer 的视频物体跟踪器，在 Siamese-like 跟踪管道中，编码器在模板中注入了基于注意力机制的特征强化以增强模型生成质量，解码器传递上一个模板的跟踪线索到当前帧以方便目标搜索，结果本方法作为一种最先进的记录在普遍跟踪基准上获得了成功。

    Mar, 2021

  • TCTrack: 航空跟踪的时间上下文

    本文提出了一种全面利用时间上下文进行航空追踪的框架，名为 TCTrack，该框架在特征提取和相似度图优化方面使用了时间上下文。实验表明，TCTrack 在四个航空追踪基准测试数据集上的效果令人印象深刻，并且在 NVIDIA Jetson AGX Xavier 上实现了高达 27 FPS 的高速。

    Mar, 2022

  • 上下文增强的单图像目标检测转换器

    我们提出了一种新颖的单图像目标检测方法，称为 Context Enhanced TRansformer (CETR)，通过将时间上下文引入 DETR 并使用新设计的内存模块。

    Dec, 2023

  • ETTrack：增强的多目标跟踪时间性运动预测器

    提出了一种基于运动的多目标跟踪方法，称为 ETTrack，它融合了变换器模型和时间卷积网络，利用历史运动信息预测个体物体的未来运动，并通过新颖的动量修正损失函数提高了预测准确性，实验证明 ETTrack 在 DanceTrack 和 SportsMOT 上取得了与最先进跟踪器竞争性的性能，分别达到 56.4％和 74.4％的 HOTA 指标。

    May, 2024

  • 基于目标和上下文感知 Transformer 的高效零样本视觉检索

    该研究提出了一种零样本深度学习架构 TCT（Target and Context-aware Transformer），结合目标和上下文信息进行图像搜索，表现出类人的搜索效率，在具有挑战性的视觉搜索任务中超越最先进的模型，并在具有不协调上下文的不变视觉搜索下展现出灵活的搜索方式。

    Nov, 2022

  • 针对视觉识别的上下文转换网络

    该论文提出了一种新颖的 Transformer 风格模块，即 Contextual Transformer (CoT) 块，它完全利用输入键之间的情境信息来指导动态注意力矩阵的学习，从而增强了视觉表示能力，可作为更强大的骨干网。

    Jul, 2021

  • ACTrack: 为视觉目标跟踪添加时空条件

    我们提出了 ACTrack，一个新的跟踪框架，通过冻结参数来保留预训练的 Transformer 骨干的质量和能力，并使用可训练的轻量级加法网络来建模跟踪中的时空关系，实验结果证明 ACTrack 能够在训练效率和跟踪性能之间取得平衡。

    Feb, 2024

  • 具有联合元更新的上下文感知视觉跟踪

    在本文中，我们提出了一种基于上下文感知的跟踪模型，该模型是通过利用整个序列中的信息联合元更新两个分支来优化表示空间上的跟踪器，实现对外观变化的自适应。我们采用上下文聚合模块融合历史帧中的信息，然后使用上下文感知模块为跟踪器的两个分支学习亲和向量。通过使用专用的元学习方案，在有限的训练样本下，该跟踪方法在 VOT2018 上实现了 0.514 的 EAO 评分，40FPS 的速度，表明了它提高了潜在跟踪器的准确性和鲁棒性，并且在速度上有小幅下降。

    Apr, 2022