CVPRMay, 2018

神经网络维特比算法：弱监督视频学习框架

PDF
TL;DR本文提出了一种基于 Viterbi 损失的学习算法，能够在线和逐步地学习弱标注的视频数据，并展示了显式的上下文和长度建模对于视频分割和标记任务的巨大改进，并将这些模型纳入我们的框架之中，在几个动作分割基准测试中，与当前最先进的方法相比，我们实现了高达 10% 的改进。
video learningcomputer visionviterbi-based losscontext modelingaction segmentation
发现论文，激发创造
  • 多视角视频学习：利用弱标注实现帧级感知

    使用弱标签在多视角视频上训练基于视频的动作识别模型，并使用潜在嵌入来提高准确性。

    Mar, 2024

  • 基于集合约束的 Viterbi 算法进行基于集合监督的动作分割

    该论文介绍了一种新的基于 HMM 的弱监督行为分割框架，其中提出了一种新的 Viterbi 算法和特征 affinities 的正则化方法来提高算法性能。

    Feb, 2020

  • 层次强化学习实现弱监督视频摘要

    提出了一种基于弱监督分层强化学习框架的视频摘要算法，该算法将任务分解为多个子任务，通过训练管理器网络为每个子任务设置子目标，在此基础上使用策略梯度预测视频帧的重要性得分，通过定义的子奖励和全局奖励来解决稀疏问题，并在两个基准数据集上实验证明其具有最佳性能。

    Jan, 2020

  • 利用非对齐文本进行弱监督视频表示学习

    本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

    Mar, 2023

  • 基于 Anchor 约束的集合监督动作分割 Viterbi 算法

    本文介绍了一种用于动作分段的弱监视训练方法，通过多层感知器和隐马尔可夫模型生成虚拟标注视频帧，使用锚点约束维特比算法生成伪标注数据，且在比较三个数据集的表现时相对于过去的方法有了更好的表现

    Apr, 2021

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 弱监督密集型视频字幕生成

    本文提出了一种基于弱监督信息的密集视频描述方法，通过词汇全卷积神经网络、亚模量最大化算法、序列到序列学习语言模型等技术，既可以生成信息丰富、多样化的密集字幕，也能大幅度领先于现有的单视频字幕生成方法。

    Apr, 2017

  • 利用网络爬虫视频的弱监督语义分割

    本文提出一种基于图像级别类别标签的弱监督语义分割算法，利用 Web 存储库中有关目标类别标签的视频检索并从检索到的视频中生成分割标签以模拟语义分割的强监督，该算法明显优于现有的同等监督方法，甚至与依赖额外标注方法的方法一样有竞争力。

    Jan, 2017

  • 弱监督动作标注的连接时序建模

    我们提出了一种弱监督的框架，用于视频中的动作标注，其中只在训练时间需要发生动作的顺序。通过引入扩展的连接组态分类（ECTC）框架来解决每帧对齐的问题，从而有效地评估所有可能的对齐。我们进一步将我们的框架扩展到在视频中稀疏地注释了一些帧的半监督情况下。使用不到 1％的标记帧数的情况下，我们的方法能够胜过现有的半监督方法，并实现与完全监督方法相当的性能。

    Jul, 2016

  • 基于语言文本的弱监督动作学习

    本文提出了一种基于弱监督学习的人类行为学习方法，通过视频的文字形式来推断其中涉及的行为，并能在没有帧级别标注的情况下学习相关的行为模型；该方法在四个活动数据集上进行了评估，证明了其高效性和竞争力。

    Oct, 2016