基于时间戳监督的动作分割
本文从聚类的角度提出了一种框架来解决视频动作分割中矛盾间隙带来的错误伪标签问题,并引入了聚类损失函数,使得相同动作段内的帧特征更加紧凑,实验结果表明该方法有效。
Dec, 2022
本文提出了一个基于序列到序列解决视频动作分割的统一框架,利用全面时间戳监督设置的 seq2seq 翻译。我们使用 类似于映射视频帧序列到动作分段序列的方法,来解决动作分割这一问题。我们提出了一系列修改和辅助损失函数,以及针对标准 Transformer seq2seq 翻译模型的模块化方法,以应对长输入序列和相对较少的视频输出序列。我们为编码器引入了辅助监督信号,提出了一个独立的对齐解码器用于隐式持续时间预测,最后通过我们提出的有限 k-medoid 算法将框架扩展到基于时间戳的监督设置,用于生成伪分割。我们的框架在完全和时间戳监督设置中表现一致,胜过或与几个数据集上的最先进算法相竞争。
Sep, 2022
提出了一种层次化方法,通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题,并将一帧 RNN 模型与粗略概率推理相结合,以实现长序列的时间对齐和迭代训练。
Jun, 2019
本文提出了一种弱监督学习的端到端方法,将视频分成小的时间段,并预测每个时间段的动作标签及其长度。通过测量时间段与注释动作标签之间的一致性,该方法可学习将视频划分为类一致的区域,并在三个数据集上实现了最先进的结果。
Mar, 2020
本文介绍了一种使用时间戳监督进行时间活动分割的新方法,其中引入一个图卷积网络,以端到端的方式学习利用帧特征和相邻帧之间的连接生成密集帧标签的方法。我们还提出了一个交替学习的框架,用于初始化和迭代地完善学习模型。在 50Salads、GTEA、Breakfast、Desktop Assembly 等公共数据集上的详细实验表明,我们的方法优于多层感知器基线,同时在时间活动分割方面表现不输于或优于现有技术。
Jun, 2022
提出了一种基于磁盘聚类的统一框架,它可以处理和结合不同类型的较低需求的弱监督,从视频中监测时空活动,并将其应用于训练设置中的不同类型的监督信号实验结果证明:该模型在 UC101-24 和 DALY 数据集上具有竞争性能,而且与之前的方法相比,使用的监督信号更少。
Jun, 2018
我们提出了一种弱监督的框架,用于视频中的动作标注,其中只在训练时间需要发生动作的顺序。通过引入扩展的连接组态分类(ECTC)框架来解决每帧对齐的问题,从而有效地评估所有可能的对齐。我们进一步将我们的框架扩展到在视频中稀疏地注释了一些帧的半监督情况下。使用不到 1%的标记帧数的情况下,我们的方法能够胜过现有的半监督方法,并实现与完全监督方法相当的性能。
Jul, 2016
本文提出了一种半监督学习算法,用于训练时间动作建议网络,能够在只有很少的标签可用时生成比全监督对照组和其他强半监督基线更好的建议,并验证其在两个具有挑战性的动作检测视频数据集 ActivityNet v1.3 和 THUMOS14 上的有效性,表明我们的半监督方法始终与或优于全监督最先进方法。
Oct, 2019