本文提出了一个基于序列到序列解决视频动作分割的统一框架，利用全面时间戳监督设置的 seq2seq 翻译。我们使用 类似于映射视频帧序列到动作分段序列的方法，来解决动作分割这一问题。我们提出了一系列修改和辅助损失函数，以及针对标准 Transformer seq2seq 翻译模型的模块化方法，以应对长输入序列和相对较少的视频输出序列。我们为编码器引入了辅助监督信号，提出了一个独立的对齐解码器用于隐式持续时间预测，最后通过我们提出的有限 k-medoid 算法将框架扩展到基于时间戳的监督设置，用于生成伪分割。我们的框架在完全和时间戳监督设置中表现一致，胜过或与几个数据集上的最先进算法相竞争。

Sep, 2022

本文提出了一种新颖的无监督活动分割方法，该方法使用视频帧聚类作为预文本任务，并同时执行表示学习和在线聚类。通过使用时间最优传输来利用视频中的时间信息，同时，在计算伪标签聚类分配的标准最优传输模块中加入保留活动时间顺序的时间正则化项。与之前的方法相比，我们的方法不需要在离线模式下存储整个数据集的特征，而是以在线模式每次处理一个小批量。 extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par with or better than previous methods, despite having significantly less memory constraints.

May, 2021

本文介绍了一种使用自监督学习和 RNN/HMM 算法实现无监督动作分割的方法，该方法优于现有技术在多个数据集上的表现。

Apr, 2021

该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

Apr, 2019

我们提出了一种基于解决优化传输问题的长时间、未修剪视频的动作分割任务的新方法。通过将时间一致性先验编码到 Gromov-Wasserstein 问题中，我们能够从视频帧和动作类之间的噪声亲和 / 匹配成本矩阵中解码出一个时间一致的分割。与以前的方法不同，我们的方法不需要知道视频的动作顺序以实现时间一致性。此外，我们得到的（融合的）Gromov-Wasserstein 问题可以使用几次投影镜像下降的迭代在 GPU 上高效解决。我们在无监督学习环境中展示了我们方法的有效性，其中我们的方法用于为自我训练生成伪标签。我们在 Breakfast、50-Salads、YouTube 指南和桌面装配数据集上评估了我们的分割方法和无监督学习管道，得到了无监督视频动作分割任务的最新结果。

Apr, 2024

本研究提出了一种新的弱监督动作分割方法，通过直接定位几个动作转换来生成伪分割，并利用边界对齐和视频级别监督来有效地过滤噪声并检测转换。实验证明了这种方法在性能和训练速度上的有效性。

Mar, 2024

本文从聚类的角度提出了一种框架来解决视频动作分割中矛盾间隙带来的错误伪标签问题，并引入了聚类损失函数，使得相同动作段内的帧特征更加紧凑，实验结果表明该方法有效。

Dec, 2022

本文介绍了一种新的无监督视频分割方法，采用迭代鉴别生成方法，通过学习视频视觉特征并建模时序结构，将复杂活动划分为多个子活动，并引入背景模型，验证结果优于现有无监督及弱监督方法。

Mar, 2018

提出半监督学习方法解决在只有一小部分有标签数据和大量没有标签数据的工程视频中，发现行动并将其分段的任务，其中两个新的损失函数和自适应边界平滑方法也被提出，并在三个基准测试中评估，结果表明它们显著提高了行为分割性能，并在用少量标记数据（5％和 10％）的情况下取得了与全监督相当的结果。

Jul, 2022

本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

Mar, 2023