CVPRNov, 2015

视频帧瞥片段的端到端动作检测学习

PDF
TL;DR该研究提出了一种直接预测动作时间边界的完全端到端的方法，其中模型作为一个基于循环神经网络的智能体与视频交互，并使用 REINFORCE 来学习决策策略，取得了 THUMOS'14 和 ActivityNet 数据集的最先进结果。
action detectionend-to-end approachrecurrent neural networkreinforcestate-of-the-art results
发现论文，激发创造
  • 无遗漏：全视频动作识别

    通过对视频帧进行时间聚类，提出了一种全视频行为识别方法，相较于现有的基于帧采样的方法效果更好，同时由于采用了时空局部聚类和快速的哈明距离计算方法使其训练高效。

    Mar, 2021

  • 在线动作检测的时序循环网络

    本文提出了一种新颖的框架 Temporal Recurrent Network (TRN) 来模拟视频帧的时间上下文，在线执行行动检测并预测即将发生的行动，实现了累积历史证据和预测未来信息相结合的在线识别方式，并在 HDD、TVSeries 和 THUMOS'14 三个数据集上进行评估，表明 TRN 的性能显著优于现有技术。

    Nov, 2018

  • 视频视觉目标跟踪的深度强化学习

    本文提出一种全面的端到端视频视觉跟踪方法，利用循环卷积神经网络代理与视频进行交互，并结合强化学习算法来学习不断的关注连续帧相关性和最大化在长期内的跟踪性能，实现了比现有跟踪基准更快速的状态 - of-the-art 性能。是第一个将卷积和循环网络与强化学习算法相结合的神经网络跟踪器。

    Jan, 2017

  • 行动之前先展望：通过预测运动效果进行端到端主动识别

    通过训练循环神经网络模型的运动策略，结合学习预测代理在移动中对环境的影响，我们成功实现了主动学习视觉识别，并提高了识别性能。

    Apr, 2016

  • 基于 RNN 的粗细建模弱监督动作学习

    本文提出了一种弱监督学习的方法，结合判别子动作的表示和粗略概率模型，应用于人类行为的动作检测和分类任务中，并在两个基准数据集上进行了评估，展现了在多个弱监督学习任务中的良好性能。

    Mar, 2017

  • 一项关于端到端时间动作检测的实证研究

    本文介绍了一种基于端到端学习的方法进行时间动作检测，相对于只有检测头优化的方法，端到端学习可以带来多达 11% 的性能改进，并针对影响 TAD 性能和速度的多种设计选择进行了深入研究，并提出了更高效的检测器。

    Apr, 2022

  • 使用视觉注意力进行动作识别

    本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

    Nov, 2015

  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018

  • 基于强化学习的端到端主动目标跟踪

    本研究采用深度强化学习的端到端方法，结合 ConvNet-LSTM 函数的预测能力，提出了一种针对活动物体追踪的解决方案，并通过环境增强技术和定制的奖励函数进行训练。结果表明，在模拟器中训练的跟踪器能够在未知的物体移动路径、外观、背景和干扰物的情况下表现良好。实验还表明，单独在模拟器中训练的跟踪能力具有潜在的适用性和推广性，可以在真实情况下进行。

    May, 2017

  • 动作识别的记忆增强时序动态学习

    提出了一种记忆增强的时间动态学习网络，利用差分记忆控制器将最显著的信息写入外部存储器，并忽略不相关的信息，增强了动作识别的效果。

    Apr, 2019