Oct, 2023

边界离散化和可靠分类网络用于时间动作检测

PDF
TL;DR混合方法的时空动作检测在融合基于锚点和不基于锚点的方法上取得了显著性能，但仍然存在两个关键问题：蛮力融合和手工设计的锚点影响了混合方法的性能和实际应用，以及动作类别预测中大量的误报影响了检测性能。本文提出了一种新颖的边界离散和可靠分类网络（BDRC-Net），通过引入边界离散和可靠分类模块来解决上述问题。具体而言，边界离散模块（BDM）以边界离散的形式巧妙地融合了基于锚点和不基于锚点的方法，避免了传统混合方法所需的手工设计锚点。此外，可靠分类模块（RCM）预测可靠的动作类别以减少动作类别预测中的误报。在不同的基准测试上进行的大量实验证明，我们提出的方法与最先进的方法相比具有较好的性能。例如，在 THUMOS'14 上，BDRC-Net 的平均 mAP 达到了 68.6%，超过了先前最佳水平 1.5%。代码将在该链接处公开发布。
temporal action detectionmixed methodsboundary discretization and reliable classification networkboundary discretizationreliable classification
发现论文，激发创造
  • 通过密集边界生成器快速学习时间动作建议

    本篇论文提出了一种名为 Dense Boundary Generator (DBG) 的生成时间性行动提案的高效统一框架，该框架通过实现边界分类和行动完整性回归以获取密集分布提案中的精确时间提案边界和可靠的行动置信度

    Nov, 2019

  • 级联边界回归用于时间动作检测

    本文介绍了一种基于 Cascaded Boundary Regression 模型的两阶段时间性行动检测方法，通过在第一和第二阶段分别检测类不可知提议和特定操作，使用时空坐标回归来细化滑动窗口的时间边界，有效提高了检测性能。在 THUMOS-14 和 TVSeries 数据集上实验表明，此方法在高 IoU 阈值下表现优异。

    May, 2017

  • BMN: 时间动作提议生成的边界匹配网络

    提出一种名为 “Boundary-Matching Network（BMN）” 的有效、高效、端对端的建议生成方法，可以同时生成具有精确时间边界和可靠置信度分数的建议，提出 BM 机制来评估密集分布的建议的置信度得分，以及将所有密集分布的 BM 对结合成 BM 置信度图，测试结果在 THUMOS-14 和 ActivityNet-1.3 数据集上表现出一定优越性。

    Jul, 2019

  • 松弛 Transformer 解码器用于直接行动提议生成

    这篇论文提出了 RTD-Net 框架，利用 Transformer 类似的架构直接生成动作建议，通过在时间范围内更好地捕捉长程时间信息的边界注意模块来应对视频中的缓慢先前，通过松弛匹配方案来缓解对每个真实值的单一分配的限制，并使用三分支头明确地预测其完整性来进一步提高提案置信度，从而在 THUMOS14 和 ActivityNet-1.3 基准测试中具有很好的效果，同时比以前的提案生成方法更有效率。

    Feb, 2021

  • 增强即时可辨性的时间动作定位

    基于 TriDet 模型的时间动作检测（TAD）在多个 TAD 数据集上表现出鲁棒性和最先进的性能，包括分层（多标签）TAD 数据集。

    Sep, 2023

  • RCL: 用于暂时动作检测的循环连续本地化

    本研究提出了一种基于循环连续本地化（RCL）的完全连续表示方法，该方法建立在视频嵌入和时间坐标表示的基础上，能够对任意长度的段进行检测，进一步优化了现有的动作检测方法，在两个基准测试中显着提高了平均精度。

    Mar, 2022

  • 边界内容图神经网络用于时序动作提案生成

    提出了一种边界内容图神经网络（BC-GNN）来生成高质量的时间性建议，通过神经网络模拟时间性建议的边界和行动内容之间的相互关系，显著提高了行动理解的准确性和效率。

    Aug, 2020

  • ACT-Net：手术视频中的锚点上下文动作检测

    为了精确检测每一时刻发生的细微行动，我们提出了一种锚点上下文行动检测网络（ACTNet），包括锚点上下文检测模块和类条件扩散模块，以回答以下问题：1）行动发生在哪里；2）行动是什么；3）如何进行置信度预测。我们的方法在外科手术视频数据集上表现出最新技术水平，相比基准线改进了 4.0％的平均精确度。

    Oct, 2023

  • 基于全卷积神经网络的极速镜头边界检测

    提出了一种基于卷积神经网络的拍摄边界检测方法，实现了从像素到最终拍摄边界的端到端学习，该方法在处理视频时速度超过 120 倍实时，并取得了最先进的结果。

    May, 2017

  • TriDet: 基于相对边界建模的时间动作检测

    本文提出了一种一阶段框架 TriDet，用于时间动作检测，其结合了 Trident-head 和 SGP-based 特征金字塔的快速、高效特性，取得了在三个基准测试中的最优性能，表现出优异的时间动作检测结果。

    Mar, 2023