Jun, 2022

时间戳监督下使用图卷积网络进行动作分割

PDF
TL;DR本文介绍了一种使用时间戳监督进行时间活动分割的新方法，其中引入一个图卷积网络，以端到端的方式学习利用帧特征和相邻帧之间的连接生成密集帧标签的方法。我们还提出了一个交替学习的框架，用于初始化和迭代地完善学习模型。在 50Salads、GTEA、Breakfast、Desktop Assembly 等公共数据集上的详细实验表明，我们的方法优于多层感知器基线，同时在时间活动分割方面表现不输于或优于现有技术。
temporal activity segmentationgraph convolutional networktimestamp supervisiondense framewise labelsalternating learning
发现论文，激发创造
  • 基于时间戳监督的动作分割

    本文提出了使用时间戳监督来训练时序动作分割模型，并引入置信损失来使模型的学习更加充分，实验结果表明，使用时间戳监督的模型与完全受监督的方法可以达到类似的性能。

    Mar, 2021

  • 基于堆叠时空图卷积网络的动作分割

    本文介绍一种基于堆叠时空图卷积网络的行为分割方法，利用不同特征节点、长度不定的特征描述符和任意时间边缘连接来处理复杂活动中的大规模图变形，使用编码器 - 解码器设计来提高模型推广能力和位置准确性，且能联合推断得到涵盖全面上下文信息的行为分割结果。实验结果表明，该方法在 CAD120 数据集中 F1 值上取得了 4.0% 的性能提升，在 Charades 数据集中 mAP 值上取得了 1.3% 的性能提升。

    Nov, 2018

  • 时序卷积网络：行动分割的统一方法

    提出了一种统一的时间卷积网络方法，可以逐层捕捉低、中、高层次时间尺度上的关系，在三个公共操作分割数据集上以视频或传感器数据实现了优越或竞争性能，并且可以在较短时间内训练完成。

    Aug, 2016

  • MS-TCN：多阶段时间卷积网络用于动作分割

    本研究提出了一种多阶段架构方法来解决视频动作分段问题，使用扩张卷积神经网络来生成初始预测并利用平滑损失进行训练，模型在多个数据集上实现了最新的研究成果。

    Mar, 2019

  • 基于序列到序列翻译的融合全程和时间戳监督的暂态行动分割

    本文提出了一个基于序列到序列解决视频动作分割的统一框架，利用全面时间戳监督设置的 seq2seq 翻译。我们使用 类似于映射视频帧序列到动作分段序列的方法，来解决动作分割这一问题。我们提出了一系列修改和辅助损失函数，以及针对标准 Transformer seq2seq 翻译模型的模块化方法，以应对长输入序列和相对较少的视频输出序列。我们为编码器引入了辅助监督信号，提出了一个独立的对齐解码器用于隐式持续时间预测，最后通过我们提出的有限 k-medoid 算法将框架扩展到基于时间戳的监督设置，用于生成伪分割。我们的框架在完全和时间戳监督设置中表现一致，胜过或与几个数据集上的最先进算法相竞争。

    Sep, 2022

  • 动作图：用图卷积网络进行弱监督的动作定位

    本文提出了一种基于图卷积的弱监督动作定位方法，使用相似性图形显式建模视频片段之间的相似性以及动作的子操作，最终在多个数据集上达到了弱监督动作定位的最新水平。

    Feb, 2020

  • 利用自监督的时间关系建模进行动作分割

    本篇论文提出了一种有效的 GCN 模块 DTGRM，用于捕获和建模视频帧之间的各个时间跨度的时间关系，并通过提出的自监督任务来增强模型的时间推理能力，这种模块在行为分割方面表现优于现有技术。

    Dec, 2020

  • 时序段网络：深度动作识别的良好实践

    本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

    Aug, 2016

  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017

  • 基于聚类视角的时间戳监督动作分割

    本文从聚类的角度提出了一种框架来解决视频动作分割中矛盾间隙带来的错误伪标签问题，并引入了聚类损失函数，使得相同动作段内的帧特征更加紧凑，实验结果表明该方法有效。

    Dec, 2022