Nov, 2022

Re^2TAL：针对可逆时间行为定位重构预训练视频主干网络

PDF
TL;DR该论文提出了一种基于可逆网络的端到端方法 Re2TAL，用于时间行为定位（TAL），通过网络重连机制，将预训练的视频模型转换为基于可逆模块的模型，以提高模型训练效率和表现。使用此方法，只使用 RGB 模态的 Re2TAL 在 ActivityNet-v1.3 上达到 37.01％的平均 mAP，并在 THUMOS-14 上的 tIoU=0.5 时获得 64.9％的 mAP，表现优于其他 RGB-only 方法。
temporal action localizationre2talend-to-endreversible networkspretrained parameters
发现论文，激发创造
  • 低保真端到端视频编码器预训练用于时间动作定位

    提出了一种新的 LoFi 视频编码器预训练方法，通过减少时空或时空分辨率的 mini-batch 组合来实现对编码器的端到端优化，有助于解决任务不一致性问题并提供更有效的特征表示，从而显著提高了现有 TAL 方法的性能。

    Mar, 2021

  • 重新思考 Faster R-CNN 架构，用于时间段行为定位

    介绍了基于 Faster R-CNN 的 TAL-Net 方法，通过多尺度架构、适当扩展感受野、多流特征融合等方式改进了视频中的时间动作定位，实现了在 THUMOS'14 目标检测基准和 ActivityNet 挑战赛中的平均最优表现。

    Apr, 2018

  • LoSA：用于缩放端到端时序动作定位的长短程适配器

    通过引入第一个专门为处理未修剪视频的 TAL 设计的内存和参数高效的背骨适配器 LoSA，本研究在标准 TAL 基准测试 THUMOS-14 和 ActivityNet-v1.3 上明显优于现有方法，通过使视频骨干可以适应超过十亿参数的模型，如 VideoMAEv2（ViT-g），有效地扩展了端到端骨干适应的能力，并利用了这些模型进行非仅在头部的迁移学习。

    Apr, 2024

  • 测试时零样本时序动作定位

    通过引入一种新的方法 (T3AL)，该方法对 Temporal Action Localization (TAL) 进行 Test-Time adaptation，并采用自我监督学习的启发式程序进行动作区域定位，使用最先进的字幕模型提取的帧级文本描述进一步完善动作区域提案，实验证明 T3AL 在 THUMOS14 和 ActivityNet-v1.3 数据集上明显优于基于最先进视觉语言模型的零样本方法，证实了测试时间自适应方法的益处。

    Apr, 2024

  • 基于自然对抗性互相正则化的自下而上时域动作定位

    本文针对时间行为定位（TAL）在不带剪辑的视频中查找特定动作片段方面，深入研究了现有方法在模拟这些阶段时，忽略了它们之间的潜在时间约束。作者提出了 IntraC 和 InterC 两个正则化项，使整个框架可以在端对端优化过程中适应这些潜在约束条件，并在 THUMOS14 和 ActivityNet1.3 两个流行的 TAL 数据集上进行了实验。结果表明，本方法在定量和定性上都优于基线，并且所提出的正则化方法还可以推广到其他 TAL 方法（例如，TSA-Net 和 PGCN）。

    Feb, 2020

  • TALLFormer：基于长期记忆 Transformer 的时间动作定位

    提出 TALLFormer, 一种内存高效、可训练的时间动作定位 Transformer 方法，其长期记忆机制消除了在每个训练迭代中处理数百个冗余视频帧的需要，从而显著降低了 GPU 内存消耗和训练时间。

    Apr, 2022

  • LocATe: 3D 中基于 Transformer 的全流程动作定位

    提出了 LocATe 方法，一种全新的、端到端的 3D-TAL 方法，同时定位和识别 3D 运动中的动作，并用稀疏注意力处理高维输入，能够更好地捕捉动作之间的长期关联，并优于当前最先进的 3D-TAL 方法，在现有的 PKU-MMD 3D-TAL 基准上实现了 93.2％的 mAP，同时提出了一种具有挑战性和更实际的基准数据集 BABEL-TAL-20（BT20）。

    Mar, 2022

  • OpenTAL: 面向开放集合的时序动作定位

    本文提出了 OpenTAL 框架，以 Evidential Deep Learning 为基础解决了开放场景下不可避免的未知动作问题，该框架由三个方面组成：具有不确定性的动作分类、动作性预测和时间位置回归，实验结果证明了该方法的有效性。

    Mar, 2022

  • 边界感知的时序动作定位的提案生成方法

    通过引入对比学习，并将背景帧作为难负样本，提出了一种独立于现有 Temporal Action Localization（TAL）网络架构的边界感知候选生成方法（BAPG），用于改善 TAL 的性能。在 THUMOS14 和 ActivityNet-1.3 数据集上的实验结果表明，BAPG 能够显著提升 TAL 的性能。

    Sep, 2023

  • 动作敏感度学习用于时间动作定位

    本研究提出了一种 Action Sensitivity Learning 框架，旨在识别和定位动作示例，并通过轻量级的 Action Sensitivity Evaluator 和 Action Sensitive Contrastive Loss 实现对应的学习和训练。实验结果表明，该框架在多种场景下均优于现有技术，达到了最高的平均 mAP 值。

    May, 2023