基于语言文本的弱监督动作学习

Oct, 2016

Weakly supervised learning of actions from transcripts

Hilde Kuehne, Alexander Richard, Juergen Gall

TL;DR本文提出了一种基于弱监督学习的人类行为学习方法，通过视频的文字形式来推断其中涉及的行为，并能在没有帧级别标注的情况下学习相关的行为模型；该方法在四个活动数据集上进行了评估，证明了其高效性和竞争力。

Abstract

We present an approach for weakly supervised learning of human actions from video transcriptions. Our system is based on the idea that, given a sequence of input data and a transcript, i.e. a list of the order th

weakly supervised learning human actions transcription temporal segmentation action models

发现论文，激发创造

弱监督时序动作分割的混合 RNN-HMM 方法

提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

Jun, 2019

基于 RNN 的粗细建模弱监督动作学习

本文提出了一种弱监督学习的方法，结合判别子动作的表示和粗略概率模型，应用于人类行为的动作检测和分类任务中，并在两个基准数据集上进行了评估，展现了在多个弱监督学习任务中的良好性能。

Mar, 2017

在有序约束条件下的视频弱监督动作标记

本文介绍了一种基于弱监督时序标注的视频动作分类方法，将视频分为多个时间间隔并为每个时间间隔分配一个动作标签，以实现动作时序的定位，并学习每个动作的鉴别器。通过新的数据集对该方法进行了测试。

Jul, 2014

使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

Feb, 2019

利用非对齐文本进行弱监督视频表示学习

本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

Mar, 2023

Speech2Action：跨模态监督下的行为识别

本研究使用 BERT 基于对电影剧本的分析，研究了语音的文字转录以及行动之间的关联，训练了一个 Speech2Action 分类器，并在 188M 个片段的不带标签的电影语音数据上应用了该模型，获得了超过 800K 个视频片段的弱标签，最终通过使用这些标签标记的数据进行训练，在不使用单个手动标记行动示例的情况下，在标准动作识别基准测试上展现出卓越的行动识别表现。

Mar, 2020

基于背景建模的弱监督动作定位

该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签，并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

Aug, 2019

弱监督下无序动作分割的动作集

该研究论文介绍了一种弱监督的行为检测和时间分割方法，利用被动数据采集到的行为集合训练模型，以实现自动的视频行为分割和标注。

Jun, 2017

连续时间嵌入的无监督动作类别学习

该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

Apr, 2019

通过观察和叙述学习动作分割

应用叙述指导下的生成式分段模型，重点研究在无监督和弱监督设置中进行视频动作分割，发现任务结构和叙述语言在训练中被用作监督来源有利于提高分割质量.

May, 2020