May, 2021

基于 Transformer 的时域动作提议生成

PDF
TL;DR本文提出了一种使用 Transformer 网络的统一的时间动作提议生成框架，通过 Boundary Transformer 预测边界信息和 Proposal Transformer 学习关系以实现可靠的置信度评估，结果表明，此方法在时间动作本地化任务上表现出色。
transformer networkstemporal action proposal generationboundary transformerproposal transformernatural language processing
发现论文，激发创造
  • 自适应图增强变压器生成时序动作建议

    利用增强型 Transformer 和自适应图卷积网络来生成明确涉及情境且复杂的视频中的动作提议，以提高提议质量和保持本地上下文关联性。通过 THUMOS14 和 ActivityNet1.3 数据集的实验验证，该方法优于目前的 TAPG 模型。

    Mar, 2021

  • 带有背景约束的时间行为提议生成

    该论文提出了一个新的背景约束思想，通过利用背景预测分数来限制提议的置信度，从而进一步压制低质量的提议，详细介绍了该方法在行动定位任务上的成果.

    Dec, 2021

  • CTAP: 补充时间行为建议生成

    这篇论文提出了一种称为 CTAP 的新型时间行动提案生成器，该生成器将滑动窗口和行动得分分组结合起来进行提案生成，并使用时间卷积神经网络进行提案排名和边界调整，实验结果显示其在 THUMOS-14 和 ActivityNet 1.3 数据集上的平均召回率（AR）远远优于现有技术，并在现有行动检测器中的应用展现出显著的改进。

    Jul, 2018

  • TURN TAP：面向时间动作提议的时间单元回归网络

    提出了一种基于 Temporal Unit Regression Network 的 Temporal Action Proposal generation 方法，通过时间坐标回归预测动作提议并改进时间边界，利用视频单元作为时间提议的基本构建块，优化了模型的计算速度，该模型在 THUMOS-14 和 ActivityNet 数据集上表现出较高的性能。

    Mar, 2017

  • 用于时间动作提议生成的代理 - 环境网络

    提出了一种基于 Agent-Environment Network 的方法来生成暂时动作建议，并在 THUMOS-14 和 ActivityNet-1.3 数据集上得到了良好的表现。

    Jul, 2021

  • 边界感知的时序动作定位的提案生成方法

    通过引入对比学习，并将背景帧作为难负样本，提出了一种独立于现有 Temporal Action Localization（TAL）网络架构的边界感知候选生成方法（BAPG），用于改善 TAL 的性能。在 THUMOS14 和 ActivityNet-1.3 数据集上的实验结果表明，BAPG 能够显著提升 TAL 的性能。

    Sep, 2023

  • 时态行为提议精炼的时间上下文聚合网络

    本文提出了一种 Temporal Context Aggregation Network（TCANet）来生成高质量的动作提案，通过本地和全局的时间上下文聚合和补充以及逐步边界细化，等等一连串的动作建议生成算法，以增强方法的临床普适性和可应用性。

    Mar, 2021

  • 具有关系感知金字塔网络的准确时态行动提案生成

    介绍了 Relation-aware pyramid Network (RapNet) 方法，通过引入新的关系感知模块，同时利用局部特征之间的双向长程关系进行上下文提炼，提升其多层次时间建议生成能力，进而产生具有时间和置信度较高的动作建议。该方法在 ActivityNet 和 THUMOS14 数据集上的实验结果表明优于现有的最先进方法。

    Mar, 2020

  • 松弛 Transformer 解码器用于直接行动提议生成

    这篇论文提出了 RTD-Net 框架，利用 Transformer 类似的架构直接生成动作建议，通过在时间范围内更好地捕捉长程时间信息的边界注意模块来应对视频中的缓慢先前，通过松弛匹配方案来缓解对每个真实值的单一分配的限制，并使用三分支头明确地预测其完整性来进一步提高提案置信度，从而在 THUMOS14 和 ActivityNet-1.3 基准测试中具有很好的效果，同时比以前的提案生成方法更有效率。

    Feb, 2021

  • TTPP: 时间变形器及渐进式预测，用于高效行动预测

    本文提出一个名为 TTPP 的框架，使用 Transformer 风格的架构，通过汇总观察到的特征，并利用轻量的网络逐步预测未来的特征和行动，来解决当前流行的基于循环神经网络的视频行动预测模型中无法有效捕获长期信息的缺点，在三个数据集上的广泛结果表明，TTPP 不仅胜过现有技术方法，而且更有效。

    Mar, 2020