Oct, 2021

具有查询自适应变形器的小样本时间动作定位

PDF
TL;DR本研究提出了一种新的少样本学习 (temporal action localization) 设置，使用未剪裁的视频来动态适应新类别和每个视频，同时引入了一个查询自适应变压器 (query adaptive Transformer) 来实现这一点，从而在两个行动定位基准测试中显著地优于所有现有方法。
temporal action localizationfew-shot learninguntrimmed videosquery adaptive transformeraction segmentation
发现论文，激发创造
  • 测试时零样本时序动作定位

    通过引入一种新的方法 (T3AL)，该方法对 Temporal Action Localization (TAL) 进行 Test-Time adaptation，并采用自我监督学习的启发式程序进行动作区域定位，使用最先进的字幕模型提取的帧级文本描述进一步完善动作区域提案，实验证明 T3AL 在 THUMOS14 和 ActivityNet-v1.3 数据集上明显优于基于最先进视觉语言模型的零样本方法，证实了测试时间自适应方法的益处。

    Apr, 2024

  • PLOT-TAL -- 基于优化输运的少样本时序动作定位的提示学习

    本论文介绍了一种新颖的少样本学习中的时间动作定位 (TAL) 方法，通过在实际视频中泛化不同情境的能力来解决常规单提示学习方法存在的过拟合问题。采用多提示学习框架，增强了每个动作的一组多样化提示，更有效地捕捉通用特征并减少过拟合风险。此外，利用最优输运理论，高效地将这些提示与动作特征对齐，优化了适应视频数据多方面特性的综合表示。实验证明了我们提出的多提示最优输运方法在 THUMOS-14 和 EpicKitchens100 的标准数据集上能够显著提高少样本 TAL 方法的定位准确性和鲁棒性，突出了其有效性。

    Mar, 2024

  • 多模态少样本时间动作检测

    本文提出了一种新颖的多模态 Few-shot TAD 问题，利用新的类别名称和少量支撑视频联合处理，使用 MUPPET 方法来有效地将预先训练的视觉和语言模型耦合在一起，实现了当前最优表现，同时可拓展解决少样本目标检测问题。

    Nov, 2022

  • 针对少样本动作识别的任务特定对齐和多层 transformer

    本文提出了一种名为 TSA-MLT 的端到端方法，在多层次特征上使用多层 Transformer 并使用任务特定的 TSA 进行处理，然后使用 L2 和 Optimal transport 距离度量进行融合，并以交叉熵损失进行训练以获得时间和语义方面的对齐，实验结果表明，在 HMDB51 和 UCF101 数据集上获得了最先进的结果，在 Kinetics 和 something-2-something V2 数据集基准测试上也有竞争力。

    Jul, 2023

  • 低保真端到端视频编码器预训练用于时间动作定位

    提出了一种新的 LoFi 视频编码器预训练方法，通过减少时空或时空分辨率的 mini-batch 组合来实现对编码器的端到端优化，有助于解决任务不一致性问题并提供更有效的特征表示，从而显著提高了现有 TAL 方法的性能。

    Mar, 2021

  • 通过学习明确的动作和情境子空间，实现弱监督的时间行为定位

    通过学习两个特征子空间（分别专门用于行为和背景）并利用时空运动预测来促进两个特征子空间的学习，本文提出了一种解决弱监督时间动作本地化的方法，该方法在 THUMOS14、ActivityNet v1.2 和 v1.3 数据集上优于现有的 WS-TAL 方法。

    Mar, 2021

  • 基于提议的时间动作定位与点级监督

    提出了一种用于点级别监督时序动作定位的新方法，通过生成和评估具有灵活时长的动作提案来定位动作，利用聚类算法生成密集伪标签提供更强的监督，并利用精细的对比损失进一步提高伪标签的质量，实验证明该方法在多个基准数据集上达到了与最先进方法相媲美甚至更好的性能。

    Oct, 2023

  • 基于自然对抗性互相正则化的自下而上时域动作定位

    本文针对时间行为定位（TAL）在不带剪辑的视频中查找特定动作片段方面，深入研究了现有方法在模拟这些阶段时，忽略了它们之间的潜在时间约束。作者提出了 IntraC 和 InterC 两个正则化项，使整个框架可以在端对端优化过程中适应这些潜在约束条件，并在 THUMOS14 和 ActivityNet1.3 两个流行的 TAL 数据集上进行了实验。结果表明，本方法在定量和定性上都优于基线，并且所提出的正则化方法还可以推广到其他 TAL 方法（例如，TSA-Net 和 PGCN）。

    Feb, 2020

  • FineAction：用于时间动作本地化的细粒度视频数据集

    开发了一个新的大规模、细粒度视频数据集 FineAction，共包含 106 个动作类别的 103k 个时间实例，在 17k 个未修剪的视频中进行了注释，用于对时间动作定位进行基准测试，并深入分析了细粒度实例对时间动作定位的影响。

    May, 2021

  • 几个视频中的共同动作定位

    本文提出了一种利用少量样本实现在长视频中定位动作的方法，通过新的三维卷积神经网络，结合相互增强、逐步对齐和成对匹配等模块，成功地对单一或多个动作实例的长视频进行了精准定位。

    Aug, 2020