提出了一种层次化方法,通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题,并将一帧 RNN 模型与粗略概率推理相结合,以实现长序列的时间对齐和迭代训练。
Jun, 2019
本文提出了一种基于弱监督学习的人类行为学习方法,通过视频的文字形式来推断其中涉及的行为,并能在没有帧级别标注的情况下学习相关的行为模型;该方法在四个活动数据集上进行了评估,证明了其高效性和竞争力。
Oct, 2016
本文提出一种弱监督的方法来检测细粒度视频动作,通过自我监督聚类获取可重复和自动发现的原子动作集合,并结合语义标签层次将原子动作映射到细粒度和粗粒度行动标签,最终构建了四个层次的视频可视化表示层次,在两个大型数据集上实验表明该方法在细粒度动作检测方面取得了最优性能。
Jul, 2022
本文提出了一种新的行为建模框架,包括一种名为 Temporal Convolutional Feature Pyramid Network(TCFPN)的新型时态卷积网络和一种名为 Iterative Soft Boundary Assignment(ISBA)的新型弱监督序列建模训练策略,用于进行长且未修剪的视频中的弱监督人类行为分割。 并以 Breakfast 和 Hollywood Extended 这两个基准数据集进行评估,实验结果表明,其方法达到了与最先进方法相当或更好的性能。
Mar, 2018
本文介绍了一种基于弱监督时序标注的视频动作分类方法,将视频分为多个时间间隔并为每个时间间隔分配一个动作标签,以实现动作时序的定位,并学习每个动作的鉴别器。通过新的数据集对该方法进行了测试。
Jul, 2014
该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法,其通过学习视频级别的类标签来预测人类动作的时间区间,利用注意力模块鉴别与目标动作有关的重要片段,并通过自适应时间池化融合这些关键片段,同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性,利用类别激活和类别无关的注意力在推断时提取和评分时间建议,以估计与目标动作对应的时间区间,在 THUMOS14 数据集上取得了最先进的结果,并具有卓越的 ActivityNet1.3 性能。
Dec, 2017
本文提出一种基于 soft attention 的模型,用于对视频中的动作进行识别,该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元,学习有选择地专注于视频帧的某些部分,通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关,并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型,并分析了模型在不同场景和不同动作下注意力的聚焦。
Nov, 2015
该研究提出了一种直接预测动作时间边界的完全端到端的方法,其中模型作为一个基于循环神经网络的智能体与视频交互,并使用 REINFORCE 来学习决策策略,取得了 THUMOS'14 和 ActivityNet 数据集的最先进结果。
本文介绍了一种使用自监督学习和 RNN/HMM 算法实现无监督动作分割的方法,该方法优于现有技术在多个数据集上的表现。
Apr, 2021
本文提出了一种新的有约束区分前向损失(CDFL)方法,应用于训练视频中基于门控循环单元(GRU)的隐马尔可夫模型(HMM)框架下的视频帧动作分类。该方法有效提高了行动分割和校准的准确性。
Sep, 2019