无监督行动分割的 Action Shuffle 交替学习
提出了一种层次化方法,通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题,并将一帧 RNN 模型与粗略概率推理相结合,以实现长序列的时间对齐和迭代训练。
Jun, 2019
该研究提出了一种基于连续时间嵌入的无监督学习方法,通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上,可以适用于未知情景下的视觉内容分析
Apr, 2019
本文提出了一种新颖的基于 Transformer 的框架,用于无监督活动分割,利用帧级别线索和段级别线索。我们的方法通过一个帧级别预测模块开始,该模块通过 Transformer 编码器估计逐帧动作类别。为了利用段级别信息,我们引入了一个段级别预测模块和一个帧到段对齐模块。
May, 2023
本文介绍了一种用于动作分段的弱监视训练方法,通过多层感知器和隐马尔可夫模型生成虚拟标注视频帧,使用锚点约束维特比算法生成伪标注数据,且在比较三个数据集的表现时相对于过去的方法有了更好的表现
Apr, 2021
提出半监督学习方法解决在只有一小部分有标签数据和大量没有标签数据的工程视频中,发现行动并将其分段的任务,其中两个新的损失函数和自适应边界平滑方法也被提出,并在三个基准测试中评估,结果表明它们显著提高了行为分割性能,并在用少量标记数据(5%和 10%)的情况下取得了与全监督相当的结果。
Jul, 2022
本文提出了一种弱监督学习的方法,结合判别子动作的表示和粗略概率模型,应用于人类行为的动作检测和分类任务中,并在两个基准数据集上进行了评估,展现了在多个弱监督学习任务中的良好性能。
Mar, 2017
该论文介绍了一种新的基于 HMM 的弱监督行为分割框架,其中提出了一种新的 Viterbi 算法和特征 affinities 的正则化方法来提高算法性能。
Feb, 2020
本文提出了一个基于序列到序列解决视频动作分割的统一框架,利用全面时间戳监督设置的 seq2seq 翻译。我们使用 类似于映射视频帧序列到动作分段序列的方法,来解决动作分割这一问题。我们提出了一系列修改和辅助损失函数,以及针对标准 Transformer seq2seq 翻译模型的模块化方法,以应对长输入序列和相对较少的视频输出序列。我们为编码器引入了辅助监督信号,提出了一个独立的对齐解码器用于隐式持续时间预测,最后通过我们提出的有限 k-medoid 算法将框架扩展到基于时间戳的监督设置,用于生成伪分割。我们的框架在完全和时间戳监督设置中表现一致,胜过或与几个数据集上的最先进算法相竞争。
Sep, 2022
这篇研究论文介绍了 Adversarial Self-Supervised Learning (ASSL) 框架,在 3D 动作识别中,通过邻居关系的探索和对抗学习来加强 Semi-Supervised Learning,并提出了一种有效的自我监督学习方案,以提高所学特征的识别能力,并提出了对抗性规则化方法来对标记和未标记样本的特征分布进行对齐。在 NTU 和 N-UCLA 数据集上进行了大量实验,并在 3D 动作识别的少标记情况下证实了该方法相对于半监督学习的最新方法的优越性能。
Jul, 2020
本文主要研究标签高效学习、视频动作检测、半监督主动学习、信息样本选择和时空定位等主题。提出了一个半监督主动学习方法,利用标记和未标记数据以及信息样本选择来进行动作检测。通过提出的噪声增强和基于高通滤波的关注机制(fft-attention)等技术,提高了半监督学习在视频动作检测中的准确性和泛化能力。通过在 UCF-101-24、JHMDB-21 和 Youtube-VOS 等数据集上的实验证明了该方法的有效性。
Dec, 2023