Sep, 2023

基于强化学习的端到端流媒体视频时间动作分割

PDF
TL;DR该论文提出了一种基于增强学习的端到端流媒体视频时态行为分割方法 (SVTAS-RL)，它将时态行为分割任务作为一种行为段聚类任务，通过引入强化学习来缓解优化目标和方向不一致的问题，实验结果表明 SVTAS-RL 模型在多个数据集上与最先进的时态行为分割模型相媲美，并在超长视频数据集 EGTEA 上展示出更大的优势，因此该方法能够取代所有当前的时态行为分割模型，尤其适用于长视频时态行为分割任务。
temporal action segmentationframe recognitionmulti-modality action recognitionstreaming video temporal action segmentationreinforce learning
发现论文，激发创造
  • O-TALC: 应对在线动作分割中过度细分的步骤

    在线临时动作分割通过改进的训练和推理方法提高了骨干动作识别模型的训练和在线帧级分类性能，可用于实时 HRI 任务，尤其在处理细粒度数据集时表现出色。

    Apr, 2024

  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017

  • 基于序列到序列翻译的融合全程和时间戳监督的暂态行动分割

    本文提出了一个基于序列到序列解决视频动作分割的统一框架，利用全面时间戳监督设置的 seq2seq 翻译。我们使用 类似于映射视频帧序列到动作分段序列的方法，来解决动作分割这一问题。我们提出了一系列修改和辅助损失函数，以及针对标准 Transformer seq2seq 翻译模型的模块化方法，以应对长输入序列和相对较少的视频输出序列。我们为编码器引入了辅助监督信号，提出了一个独立的对齐解码器用于隐式持续时间预测，最后通过我们提出的有限 k-medoid 算法将框架扩展到基于时间戳的监督设置，用于生成伪分割。我们的框架在完全和时间戳监督设置中表现一致，胜过或与几个数据集上的最先进算法相竞争。

    Sep, 2022

  • SCT: 基于集合限制的时间变换器用于集合监督动作分割

    本文提出了一种弱监督学习的端到端方法，将视频分成小的时间段，并预测每个时间段的动作标签及其长度。通过测量时间段与注释动作标签之间的一致性，该方法可学习将视频划分为类一致的区域，并在三个数据集上实现了最先进的结果。

    Mar, 2020

  • 基于时序分离结构的弱监督多动作检测循环网络

    本文提出了一种 STAR 网络，用于弱监督多个动作的检测，借助于注意力机制聚合视频片段并使用改进的循环神经网络建立动作之间的时间关系。同时，使用 ST-GradCAM 来生成更精确的时间提案，实验表明本方法在 THUMOS'14 和 ActivityNet1.3 数据集上性能优于现有的弱监督方法，并与全监督方法性能相当。

    Nov, 2018

  • 增量动作分段的连续时间合成

    数据回放是一种成功的图像增量学习技术，但在视频领域的应用尚不成熟。本论文首次探索了视频数据回放技术在增量动作分割中的应用，重点关注动作时间建模。我们提出了一种名为 Temporally Coherent Action (TCA) 的模型，通过生成模型来表示动作，而不是存储单个帧。引入了捕捉时间相干性的条件变量，使得我们的模型能够理解动作特征随时间的演化。在 Breakfast 数据集上进行的 10 个任务的增量设置中，我们的方法与基准方法相比，在精度上实现了最多 22% 的显著增长。

    Mar, 2024

  • 在线实时多时空动作本地化和预测

    本研究提出了一个深度学习框架，可实时进行多个时空动作的本地化、分类和早期预测，通过实时的 SSD 卷积神经网络进行回归和分类检测，再通过一个高效的在线算法构建和标记动作管道以进行实时分析，对于 S/T 动作本地化和早期动作预测在 UCF101-24 和 J-HMDB-21 测试基准中均取得了最新的最佳结果，即使与顶级离线竞争对手相比，我们的系统也可以实现 40fps 的在线 S/T 动作本地化和早期动作预测，本文是首个实现此功能的实时系统。

    Nov, 2016

  • 具有时间平滑 Transformer 的实时在线视频检测

    通过在视频变压器的跨关注点中引入核的角度并应用两种时间平滑核，重新定义流式视频识别模型，拥有常数时间更新每帧的优势，在 THUMOS'14 和 EPIC-Kitchen-100 数据集上取得了最新的成果。

    Sep, 2022

  • 时序段网络：深度动作识别的良好实践

    本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

    Aug, 2016

  • 基于边界感知查询投票的高效时间动作分割

    通过使用 BaFormer 方法，本研究提出了一种基于时间段分类的新视角，以实现高效的动作分割，过程中运用了 Transformer 的优势，将每个视频段作为实例标记，并赋予了内在的实例分割能力，通过使用全局查询进行类别无关的边界预测，得到连续的时间段建议。

    May, 2024