基于动作 - 过渡感知边界对齐的高效有效的弱监督动作分割
本文提出了一种新的行为建模框架,包括一种名为 Temporal Convolutional Feature Pyramid Network(TCFPN)的新型时态卷积网络和一种名为 Iterative Soft Boundary Assignment(ISBA)的新型弱监督序列建模训练策略,用于进行长且未修剪的视频中的弱监督人类行为分割。 并以 Breakfast 和 Hollywood Extended 这两个基准数据集进行评估,实验结果表明,其方法达到了与最先进方法相当或更好的性能。
Mar, 2018
提出半监督学习方法解决在只有一小部分有标签数据和大量没有标签数据的工程视频中,发现行动并将其分段的任务,其中两个新的损失函数和自适应边界平滑方法也被提出,并在三个基准测试中评估,结果表明它们显著提高了行为分割性能,并在用少量标记数据(5%和 10%)的情况下取得了与全监督相当的结果。
Jul, 2022
通过使用 BaFormer 方法,本研究提出了一种基于时间段分类的新视角,以实现高效的动作分割,过程中运用了 Transformer 的优势,将每个视频段作为实例标记,并赋予了内在的实例分割能力,通过使用全局查询进行类别无关的边界预测,得到连续的时间段建议。
May, 2024
本文提出了一种新颖的基于 Transformer 的框架,用于无监督活动分割,利用帧级别线索和段级别线索。我们的方法通过一个帧级别预测模块开始,该模块通过 Transformer 编码器估计逐帧动作类别。为了利用段级别信息,我们引入了一个段级别预测模块和一个帧到段对齐模块。
May, 2023
本文从聚类的角度提出了一种框架来解决视频动作分割中矛盾间隙带来的错误伪标签问题,并引入了聚类损失函数,使得相同动作段内的帧特征更加紧凑,实验结果表明该方法有效。
Dec, 2022
本文提出一种基于双分支神经网络的弱监督动作分割方法,并提出了一种新的相互一致性损失(MuCon)来保证分割的一致性,结合文本预测损失达到了当前最新技术方法的准确率,且训练时间快了 14 倍,推理时间快了 20 倍,同时证明了 MuCon 损失在全监督设置下也有益处。
Apr, 2019
提出了一种层次化方法,通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题,并将一帧 RNN 模型与粗略概率推理相结合,以实现长序列的时间对齐和迭代训练。
Jun, 2019
本文提出了一种基于弱监督学习的人类行为学习方法,通过视频的文字形式来推断其中涉及的行为,并能在没有帧级别标注的情况下学习相关的行为模型;该方法在四个活动数据集上进行了评估,证明了其高效性和竞争力。
Oct, 2016
本文介绍了一种用于动作分段的弱监视训练方法,通过多层感知器和隐马尔可夫模型生成虚拟标注视频帧,使用锚点约束维特比算法生成伪标注数据,且在比较三个数据集的表现时相对于过去的方法有了更好的表现
Apr, 2021