Mar, 2023

稀疏多级边界生成器加速时间动作建议的学习

PDF
TL;DR提出了一种新的模型 ——Sparse Multilevel Boundary Generator (SMBG)，通过边界分类和动作完整性回归来提高边界敏感方法的效率，引入了稀疏特征提取置信度头来优化提议特征生成器，并提出了全局指导损失来改善多支路之间的协同和平衡正负样本，在两个流行的基准 ActivityNet-1.3 和 THUMOS14 上评估，结果表明 SMBG 提供了一种更高效和简单的解决方案，可能会提高计算机视觉领域中视频分析中的时间动作定位的准确度和速度。
temporal action localizationboundary-sensitive methodsparse multilevel boundary generatorglobal guidance lossvideo analysis
发现论文，激发创造
  • 通过密集边界生成器快速学习时间动作建议

    本篇论文提出了一种名为 Dense Boundary Generator (DBG) 的生成时间性行动提案的高效统一框架，该框架通过实现边界分类和行动完整性回归以获取密集分布提案中的精确时间提案边界和可靠的行动置信度

    Nov, 2019

  • BSN: 临界敏感的网络用于时间活动提议生成

    本研究提出了一种基于局部到全局思想的 Temporal action proposal 生成方法，命名为 Boundary-Sensitive Network (BSN)。实验结果表明，BSN 在 ActivityNet-1.3 和 THUMOS14 数据集中，相较于其他先进 Temporal action proposal 生成方法，具有高的召回率和高的时间精度。此外，将现有的行动分类器与 BSN 结合使用，能够显著提高时态动作检测性能。

    Jun, 2018

  • 边界感知的时序动作定位的提案生成方法

    通过引入对比学习，并将背景帧作为难负样本，提出了一种独立于现有 Temporal Action Localization（TAL）网络架构的边界感知候选生成方法（BAPG），用于改善 TAL 的性能。在 THUMOS14 和 ActivityNet-1.3 数据集上的实验结果表明，BAPG 能够显著提升 TAL 的性能。

    Sep, 2023

  • 时域行动提议的多粒度生成器

    该论文提出了一种多粒度生成器（MGG），从不同的粒度角度利用视频视觉特征执行时间动作提议，将段提议生成器（SPP）和帧活性生产者（FAP）组合起来执行两个不同粒度的时间动作提议任务，可与现有的动作分类器一起用于视频检测任务，具有优于现有方法的性能表现。

    Nov, 2018

  • BMN: 时间动作提议生成的边界匹配网络

    提出一种名为 “Boundary-Matching Network（BMN）” 的有效、高效、端对端的建议生成方法，可以同时生成具有精确时间边界和可靠置信度分数的建议，提出 BM 机制来评估密集分布的建议的置信度得分，以及将所有密集分布的 BM 对结合成 BM 置信度图，测试结果在 THUMOS-14 和 ActivityNet-1.3 数据集上表现出一定优越性。

    Jul, 2019

  • 边界内容图神经网络用于时序动作提案生成

    提出了一种边界内容图神经网络（BC-GNN）来生成高质量的时间性建议，通过神经网络模拟时间性建议的边界和行动内容之间的相互关系，显著提高了行动理解的准确性和效率。

    Aug, 2020

  • BSN++：时序动作提议生成的互补边界回归器和尺度平衡相关建模

    本文提出了 BSN ++，它是一个新的框架，利用互补的边界回归器和关系建模进行时间提案生成，对先前方法忽略的提议 - 提议关系进行核算，并利用比较性边界匹配机制提高边界精度。在 ActivityNet-1.3 和 THUMOS14 等基准测试中，BSN ++ 的性能达到了最先进的水平。

    Sep, 2020

  • 视频时间定位的边界敏感预训练

    本文首次探讨采用边界敏感预训练任务的方式进行时间定位的模型预训练，并在多个时间定位任务上实现了新的最先进性能，证明了该方法的有效性。

    Nov, 2020

  • 基于局部全局背景建模的弱监督时序动作定位

    本研究基于 BaSNet 的 WS-TAL 任务使用 MIL 训练了 Local-Global Background Modeling Network（LGBM-Net）模型，通过集成多个模型获得最终检测结果，测试集 mAP 达到 22.45%。

    Jun, 2021

  • 探究用于时序动作定位的更强特征

    本文研究了时域动作定位的方法，发现基于变压器的方法可以实现更好的分类性能，但不能生成准确的动作提案，最后通过以较高的帧分辨率提取特征来提高时域动作定位的性能，最终在 CVPR2021HACS 挑战中取得了第一名。

    Jun, 2021