Apr, 2019

使用互相一致性进行快速弱监督行动分割

PDF
TL;DR本文提出一种基于双分支神经网络的弱监督动作分割方法，并提出了一种新的相互一致性损失（MuCon）来保证分割的一致性，结合文本预测损失达到了当前最新技术方法的准确率，且训练时间快了 14 倍，推理时间快了 20 倍，同时证明了 MuCon 损失在全监督设置下也有益处。
action segmentationweakly supervised learningneural networkmucon losstranscript prediction
发现论文，激发创造
  • 基于集合约束的 Viterbi 算法进行基于集合监督的动作分割

    该论文介绍了一种新的基于 HMM 的弱监督行为分割框架，其中提出了一种新的 Viterbi 算法和特征 affinities 的正则化方法来提高算法性能。

    Feb, 2020

  • 弱监督下无序动作分割的动作集

    该研究论文介绍了一种弱监督的行为检测和时间分割方法，利用被动数据采集到的行为集合训练模型，以实现自动的视频行为分割和标注。

    Jun, 2017

  • 基于 Anchor 约束的集合监督动作分割 Viterbi 算法

    本文介绍了一种用于动作分段的弱监视训练方法，通过多层感知器和隐马尔可夫模型生成虚拟标注视频帧，使用锚点约束维特比算法生成伪标注数据，且在比较三个数据集的表现时相对于过去的方法有了更好的表现

    Apr, 2021

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 基于语言文本的弱监督动作学习

    本文提出了一种基于弱监督学习的人类行为学习方法，通过视频的文字形式来推断其中涉及的行为，并能在没有帧级别标注的情况下学习相关的行为模型；该方法在四个活动数据集上进行了评估，证明了其高效性和竞争力。

    Oct, 2016

  • 基于动作 - 过渡感知边界对齐的高效有效的弱监督动作分割

    本研究提出了一种新的弱监督动作分割方法，通过直接定位几个动作转换来生成伪分割，并利用边界对齐和视频级别监督来有效地过滤噪声并检测转换。实验证明了这种方法在性能和训练速度上的有效性。

    Mar, 2024

  • 基于时间戳监督的动作分割

    本文提出了使用时间戳监督来训练时序动作分割模型，并引入置信损失来使模型的学习更加充分，实验结果表明，使用时间戳监督的模型与完全受监督的方法可以达到类似的性能。

    Mar, 2021

  • 视频动作检测端到端半监督学习

    提出一种利用半监督学习方法，结合已标注和未标注数据对视频行为检测进行改进的方法，其中使用分类一致性和时空一致性约束，提出了两个新的正则化约束条件，即时间相关性和梯度平滑性，以处理视频中存在的背景和固定区域，进而实现更好的检测效果。在 UCF101-24 数据集上，仅仅使用已标注数据的 20％，该方法就比最近的完全监督式方法提高了 8.9％和 11％，且在 Youtube-VOS 上的视频对象分割上也表现出了很好的泛化能力。

    Mar, 2022

  • SCT: 基于集合限制的时间变换器用于集合监督动作分割

    本文提出了一种弱监督学习的端到端方法，将视频分成小的时间段，并预测每个时间段的动作标签及其长度。通过测量时间段与注释动作标签之间的一致性，该方法可学习将视频划分为类一致的区域，并在三个数据集上实现了最先进的结果。

    Mar, 2020

  • 具有时间掩码一致性的视频弱监督实例分割

    本研究展示了弱监督视频实例分割可以通过训练应用在视频层面上的算法来解决由于目标物体缺失而引起的问题，提出了两种方法用于处理这一问题。

    Mar, 2021