ECCVApr, 2022

TALLFormer：基于长期记忆 Transformer 的时间动作定位

PDF
TL;DR提出 TALLFormer, 一种内存高效、可训练的时间动作定位 Transformer 方法，其长期记忆机制消除了在每个训练迭代中处理数百个冗余视频帧的需要，从而显著降低了 GPU 内存消耗和训练时间。
temporal action localizationtallformertransformer modelslong-term memorygpu memory
发现论文，激发创造
  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • 探究用于时序动作定位的更强特征

    本文研究了时域动作定位的方法，发现基于变压器的方法可以实现更好的分类性能，但不能生成准确的动作提案，最后通过以较高的帧分辨率提取特征来提高时域动作定位的性能，最终在 CVPR2021HACS 挑战中取得了第一名。

    Jun, 2021

  • LoSA：用于缩放端到端时序动作定位的长短程适配器

    通过引入第一个专门为处理未修剪视频的 TAL 设计的内存和参数高效的背骨适配器 LoSA，本研究在标准 TAL 基准测试 THUMOS-14 和 ActivityNet-v1.3 上明显优于现有方法，通过使视频骨干可以适应超过十亿参数的模型，如 VideoMAEv2（ViT-g），有效地扩展了端到端骨干适应的能力，并利用了这些模型进行非仅在头部的迁移学习。

    Apr, 2024

  • TALL: 通过语言查询进行时间活动定位

    本文提出了一种使用自然语言查询来进行时间活动定位的方法，使用融合文本和视频特征的方法实现跨模态匹配，并采用后期处理技术进行结果的精确定位，实验结果验证了该方法的有效性。

    May, 2017

  • Re^2TAL：针对可逆时间行为定位重构预训练视频主干网络

    该论文提出了一种基于可逆网络的端到端方法 Re2TAL，用于时间行为定位（TAL），通过网络重连机制，将预训练的视频模型转换为基于可逆模块的模型，以提高模型训练效率和表现。使用此方法，只使用 RGB 模态的 Re2TAL 在 ActivityNet-v1.3 上达到 37.01％的平均 mAP，并在 THUMOS-14 上的 tIoU=0.5 时获得 64.9％的 mAP，表现优于其他 RGB-only 方法。

    Nov, 2022

  • 视频 Transformer 实现端到端时空动作定位

    提出一种基于 Transformer、全端到端的模型，该模型直接处理输入视频并输出一系列边界框和每一帧的动作类别，能够使用稀疏边界框基础训练或完整灯管基础训练训练，且无需额外的前处理或后处理即可预测出高质量的结果，并在四个不同的局部性数据集上取得优异的实验成果。

    Apr, 2023

  • 低保真端到端视频编码器预训练用于时间动作定位

    提出了一种新的 LoFi 视频编码器预训练方法，通过减少时空或时空分辨率的 mini-batch 组合来实现对编码器的端到端优化，有助于解决任务不一致性问题并提供更有效的特征表示，从而显著提高了现有 TAL 方法的性能。

    Mar, 2021

  • ASFormer：用于动作分割的 Transformer

    本文提出了一种名为 ASFormer 的高效 Transformer 模型，通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题，并在三个公共数据集上进行了广泛实验。

    Oct, 2021

  • 使用多阶段 CNN 在未修剪的视频中进行时间动作定位

    本研究提出了一种基于三种分段 3D 卷积神经网络的方法，用于解决未经修剪的长视频中的时间动作定位问题，其中提出网络用于识别可能包含动作的候选段，分类网络以一对多动作分类模型进行学习以作为定位网络的初始化，用于定位每个动作实例。

    Jan, 2016

  • 具有查询自适应变形器的小样本时间动作定位

    本研究提出了一种新的少样本学习 (temporal action localization) 设置，使用未剪裁的视频来动态适应新类别和每个视频，同时引入了一个查询自适应变压器 (query adaptive Transformer) 来实现这一点，从而在两个行动定位基准测试中显著地优于所有现有方法。

    Oct, 2021