Sep, 2021

稀疏提议优化高质量时序动作检测

PDF
TL;DR本文提出了一种名为 SP-TAD 的方法来应对在时间行为检测上的挑战，其利用了稀疏 proposal 和特征金字塔来构建多尺度特征以准确捕捉行为细节，实验结果表明，该方法取得了与现有最优方法相媲美的性能。
temporal action detectiontransformersparse proposalsfeature pyramidstate-of-the-art performance
发现论文，激发创造
  • 使用 Transformer 进行端到端时序动作检测

    本研究提出了一种基于 Transformer 的时态动作检测方法，通过少量学习嵌入（称为动作查询）从视频中自适应地提取时间上下文信息，并直接预测动作实例的时间间隔和语义标签，通过三种改进提高本地化意识，实现了端到端的学习，并取得了与现有方法相比的卓越性能。

    Jun, 2021

  • 增强即时可辨性的时间动作定位

    基于 TriDet 模型的时间动作检测（TAD）在多个 TAD 数据集上表现出鲁棒性和最先进的性能，包括分层（多标签）TAD 数据集。

    Sep, 2023

  • 无需提议的半监督时空动作检测

    本文提出了一种基于 SPOT 的半监督时间动作检测模型，通过并行化的定位和分类架构有效地消除了定位和分类之间的错误传播路径，实现了对自我监督模型预训练的新颖预文本任务，通过在两个标准基准测试上的实验证明了我们的 SPOT 在许多方面都优于现有的最先进的替代方案，此外，他们还提供了 SPOT 的 PyTorch 实现。

    Jul, 2022

  • 单次拍摄的时间动作检测

    该研究提出了一种基于 1D 时间卷积层的单次动作检测器（SSAD）网络来直接检测未修剪视频中的动作实例以提高检测精度。在改进检测精度的过程中，它探讨了输入特征类型和融合策略，并在两个具有挑战性的数据集上进行了广泛的实验，证明了在 THUMOS 2014 和 MEXaction2 的评估过程中，SSAD 的 mAP 比其他最先进的系统增加了很多。

    Oct, 2017

  • 通过全局分割掩码学习实现无需提案的时间动作检测

    该研究提出了一种无需 proposal 的时序行为检测模型 TAGS，该模型采用全局分割掩模学习每个动作实例的时序表达，通过针对全局时序表达进行检测，避免了 proposal 生成及评估所带来的高复杂度，从而在较低计算成本的情况下取得了当前最先进的性能。

    Jul, 2022

  • 后处理时间性行为检测

    本研究旨在解决现有时间序列动作检测算法常常在预处理阶段对视频进行下采样和采样恢复所带来的时间量化误差问题，并介绍了一种新的基于高斯分布的模型无关的后处理方法，称为 Gaussian Approximated Post-processing (GAP)，通过此方法可以在子片段级别上实现时间边界推断，在多项挑战性基准测试中，GAP 已经被证明可以显著提高各种预训练 TAD 模型的性能，并且可以与模型训练集成以进一步提高性能。

    Nov, 2022

  • DiffTAD: 带有提案去噪扩散的时间动作检测

    本文提出了一种使用扩散去噪的新时域动作检测（TAD）方法，名为 DiffTAD。该方法采用生成建模方法，而非以往判别式学习方法，借助 Transformer decoder 中引入的时间位置查询设计来建立去噪过程，通过交叉步选择性调节算法来提高推断速度。在 ActivityNet 和 THUMOS 上广泛评估后，我们的 DiffTAD 相比以往的艺术选择方案，表现出卓越的性能。

    Mar, 2023

  • 一项关于端到端时间动作检测的实证研究

    本文介绍了一种基于端到端学习的方法进行时间动作检测，相对于只有检测头优化的方法，端到端学习可以带来多达 11% 的性能改进，并针对影响 TAD 性能和速度的多种设计选择进行了深入研究，并提出了更高效的检测器。

    Apr, 2022

  • 评估时间动作检测模型对时间损坏的鲁棒性

    该研究建立了两个时间相关的损坏性能基准，并分析了七种不同的时间行为检测方法的鲁棒性，发现现有方法对于时间损坏很容易出现性能下降，特别是在行为定位方面。研究还提出了一种简单而有效的鲁棒训练方法，能够防御时间损坏并在清晰数据上获得改进。该研究将为将来鲁棒视频分析的研究提供基准。

    Mar, 2024

  • TE-TAD：基于时间对齐的坐标表达的全端到端时域行动检测

    我们提出了一种全面的端到端时序动作检测变换器，它通过整合时间对齐的坐标表达式来解决依赖手工组件的查询型检测器在时序动作检测中的问题。我们的方法不仅简化了时序动作检测过程，而且显著改善了查询型检测器的性能。

    Apr, 2024