本文提出了一种针对同一过程（如人类动作）的时间序列（例如视频）的弱监督表征学习方法，通过对全局时间序列进行对齐，并利用对齐的隐变量跨序列对的全局时间顺序作为监督信号进行表征学习，通过最优序列对齐进行嵌入网络的训练。通过大量实验表明，该方法在动作分类、少样本学习和视频同步等任务中均比之前的方法性能有了明显提高。

May, 2021

本文介绍一种无监督的视频对准方法，通过人体检测、姿态估计、VGG 网络等机器视觉工具提取并结合构建多维时间序列，利用 Diagonalized Dynamic Time Warping (DDTW) 算法对相同动作的视频进行对齐，采用新型评价指标 Enclosed Area Error (EAE) 显示本文方法在视频对齐任务和相位分类任务上均优于之前最先进的方法 (TCC 等)。

Apr, 2023

我们提出了一种基于解决优化传输问题的长时间、未修剪视频的动作分割任务的新方法。通过将时间一致性先验编码到 Gromov-Wasserstein 问题中，我们能够从视频帧和动作类之间的噪声亲和 / 匹配成本矩阵中解码出一个时间一致的分割。与以前的方法不同，我们的方法不需要知道视频的动作顺序以实现时间一致性。此外，我们得到的（融合的）Gromov-Wasserstein 问题可以使用几次投影镜像下降的迭代在 GPU 上高效解决。我们在无监督学习环境中展示了我们方法的有效性，其中我们的方法用于为自我训练生成伪标签。我们在 Breakfast、50-Salads、YouTube 指南和桌面装配数据集上评估了我们的分割方法和无监督学习管道，得到了无监督视频动作分割任务的最新结果。

Apr, 2024

本文介绍一种可扩展和强健的非线性时间视频对齐方法，该方法利用了视频本身的本质，能够在没有手动标签的情况下对月份间隔的数据进行视频对齐，并能用于计算机图形学和视觉领域的广泛应用。

Oct, 2016

本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

Mar, 2023

本研究提出了一种自监督学习方法，利用时间视频对齐作为前提任务，同时利用帧级别和视频级别信息，通过时间对齐损失和时间正则化项的结合来训练编码器网络，通过在不同数据集上的广泛评估验证其在视频表示学习方面的出色性能。

Mar, 2021

本文讨论了跨视频提取视觉对应关系的任务，提出了一种使用交叉视频循环一致性来学习空间和时间对应关系的新方法，成功实现了语义相似的贴片在视频中的对应，并学习到对物体和动作状态敏感的表示。

Jul, 2020

本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

Jul, 2020

我们提出了一种弱监督的框架，用于视频中的动作标注，其中只在训练时间需要发生动作的顺序。通过引入扩展的连接组态分类（ECTC）框架来解决每帧对齐的问题，从而有效地评估所有可能的对齐。我们进一步将我们的框架扩展到在视频中稀疏地注释了一些帧的半监督情况下。使用不到 1％的标记帧数的情况下，我们的方法能够胜过现有的半监督方法，并实现与完全监督方法相当的性能。

Jul, 2016

本文提出了一种基于弱监督学习的人类行为学习方法，通过视频的文字形式来推断其中涉及的行为，并能在没有帧级别标注的情况下学习相关的行为模型；该方法在四个活动数据集上进行了评估，证明了其高效性和竞争力。

Oct, 2016