CVPRApr, 2018

重新思考 Faster R-CNN 架构，用于时间段行为定位

PDF
TL;DR介绍了基于 Faster R-CNN 的 TAL-Net 方法，通过多尺度架构、适当扩展感受野、多流特征融合等方式改进了视频中的时间动作定位，实现了在 THUMOS'14 目标检测基准和 ActivityNet 挑战赛中的平均最优表现。
tal-nettemporal action localizationmulti-scale architecturefeature fusionvideo
发现论文，激发创造
  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018

  • 高斯时空感知网络用于动作定位

    本文提出一种新的视频动作定位框架，使用高斯核实现动作提案的动态时间尺度优化，通过学习一组高斯核对动作的时间结构进行建模，取得了目前最好的检测结果。

    Sep, 2019

  • 探究用于时序动作定位的更强特征

    本文研究了时域动作定位的方法，发现基于变压器的方法可以实现更好的分类性能，但不能生成准确的动作提案，最后通过以较高的帧分辨率提取特征来提高时域动作定位的性能，最终在 CVPR2021HACS 挑战中取得了第一名。

    Jun, 2021

  • 丰富时空动作定位的本地和全局上下文

    该研究提出了一种名为 ContextLoc 的模型，通过丰富本地和全局上下文来解决时态动作定位的问题，并在 THUMOS14 和 ActivityNet v1.3 数据集上实现 56％以上的性能表现。

    Jul, 2021

  • Re^2TAL：针对可逆时间行为定位重构预训练视频主干网络

    该论文提出了一种基于可逆网络的端到端方法 Re2TAL，用于时间行为定位（TAL），通过网络重连机制，将预训练的视频模型转换为基于可逆模块的模型，以提高模型训练效率和表现。使用此方法，只使用 RGB 模态的 Re2TAL 在 ActivityNet-v1.3 上达到 37.01％的平均 mAP，并在 THUMOS-14 上的 tIoU=0.5 时获得 64.9％的 mAP，表现优于其他 RGB-only 方法。

    Nov, 2022

  • 基于时间卷积的动作提议：ActivityNet 2017 提交

    本研究旨在提出一种基于时间卷积网络的新型提议模型以解决时间行为定位中行为提议的低质量问题，并在该领域取得了最先进的性能结果。

    Jul, 2017

  • 时间融合网络用于时序动作定位：提交至 ActivityNet Challenge 2020（E 任务）

    本技术报告分析了我们在 Activitynet Challenge 2020 中使用的一种时间动作定位方法，该方法利用视频级别特征信息训练多个视频级别动作分类模型，并应用 BMN 等方法产生高质量的时间提案，再通过级联结构网络 Refine Network 和多种模型融合方法，实现了在 HACS 比赛中 Rank1 的好成绩。

    Jun, 2020

  • 使用多阶段 CNN 在未修剪的视频中进行时间动作定位

    本研究提出了一种基于三种分段 3D 卷积神经网络的方法，用于解决未经修剪的长视频中的时间动作定位问题，其中提出网络用于识别可能包含动作的候选段，分类网络以一对多动作分类模型进行学习以作为定位网络的初始化，用于定位每个动作实例。

    Jan, 2016

  • 建模时空人体轨迹结构用于动作定位

    本文提出了一种基于循环定位网络（RecLNet）的视频人类行为的时空定位方法，能够显著提高人类行为的时空定位效果，尤其在时间定位方面的改进表现较好，已在 UCF101-24 和 DALY 两个数据集上进行了评估。

    Jun, 2018

  • 弱监督时序动作本地化的双流一致性网络

    本文提出了一种名为 Two-Stream Consensus Network (TSCN) 的框架，用于解决在视频级别上监督的情况下，弱化监督下 temporal action localization 的困难问题，并通过新的 attention normalization loss 促进模型训练和消除假阳性行动提议，实验结果表明该方法优于当前最先进的方法，即使在某些最新的全面监督方法中也能取得可比较的结果。

    Oct, 2020