本文提出了一种基于自我监督学习的视频时序对齐表征学习方法,其通过训练神经网络使用时间循环一致损失(TCC)来找到多个视频之间在时间上的对应关系,从而得到每一帧的表征,可用于快速地对视频进行对齐和分类。该方法在少量监督数据和其他自监督方法上都有较好的表现,同时还可用于多种视频应用领域的数据同步和异常检测。
Apr, 2019
本研究提出了一种自监督学习方法,从未标记的视频中学习可靠的视觉对应关系。 所提出的方法将对应关系形式化为在联合空间 - 时间图中寻找路径的过程,并在此基础上利用循环一致性来识别图像中的动态对象,从而实现了中心 - 邻居对之间的潜在关联学习。实验结果表明,该方法在视频对象传播、部分传播和姿态关键点跟踪等各种视觉任务上均表现出色,并且优于某些针对特定任务设计的全监督算法。
Sep, 2021
提出了一种基于自监督训练的计算机视觉方法,通过结合视觉和语言的时间循环一致性来学习模型预测未来和过去的动态变化,并可应用于不同任务,如动作预测和图像排序。
Jan, 2021
本文提出了一种适用于匹配视频中对应点的特征嵌入的自监督学习方法,其中使用自然的时空一致性训练指针模型,并通过引入信息瓶颈和循环模型等方式来解决跟踪器漂移等挑战,最终取得了在视频分割和关键点跟踪上的最佳效果。
May, 2019
该论文提出了一种简单的自监督方法来学习从原始视频中获取图像匹配的表达方式,通过构建空间时间图来预测连接预测匹配,并通过回文构造的图优化表示方法。
Jun, 2020
本文讨论了跨视频提取视觉对应关系的任务,提出了一种使用交叉视频循环一致性来学习空间和时间对应关系的新方法,成功实现了语义相似的贴片在视频中的对应,并学习到对物体和动作状态敏感的表示。
Jul, 2020
通过 CCL 方法,我们可以自我学习视频表示,从而在基于视频的应用程序中实现更好的性能。
Oct, 2020
本文研究了自监督表示学习的核心方法之一 —— 图像内部不变性学习,提出了一种新的基于循环一致性的对比学习方法,探索了跨视频关系,实现了图像表示的有效学习,并在多个下游任务中获得了显著的改进。
May, 2021
通过使用循环数据,本文提出了 CycleCL,一种特定设计用于周期性数据的自我监督学习方法。该方法利用预训练特征从同一个阶段近似采样一对帧以及不同阶段的负对帧,并通过优化特征编码器和重新采样三元组的方式来学习具备所提到的期望特性的特征。在工业和多个人类动作数据集上的评估表明,CycleCL 在所有任务中显著优于以往的基于视频的自我监督学习方法。
Nov, 2023
本文提出利用跨实例视觉一致性作为监督信息,通过建立一个包含 4 个环(4-cycle)的人工数据集提高深度学习在实现物体实例间的稠密视觉对应中的表现,并在测试阶段显示出优于先前相关任务的最新成果。
Apr, 2016