时空对应作为对比随机游走
本研究提出了一种自监督学习方法,从未标记的视频中学习可靠的视觉对应关系。 所提出的方法将对应关系形式化为在联合空间 - 时间图中寻找路径的过程,并在此基础上利用循环一致性来识别图像中的动态对象,从而实现了中心 - 邻居对之间的潜在关联学习。实验结果表明,该方法在视频对象传播、部分传播和姿态关键点跟踪等各种视觉任务上均表现出色,并且优于某些针对特定任务设计的全监督算法。
Sep, 2021
本文提出了一种适用于匹配视频中对应点的特征嵌入的自监督学习方法,其中使用自然的时空一致性训练指针模型,并通过引入信息瓶颈和循环模型等方式来解决跟踪器漂移等挑战,最终取得了在视频分割和关键点跟踪上的最佳效果。
May, 2019
本研究提出了一种基于对空间 - 时间对应匹配的显式监督学习的视频物体分割方法,该方法可以在不增加额外训练成本、没有速度延迟和不需要架构修改的情况下提高目前最先进的匹配式 VOS 方法的性能。
Apr, 2023
本论文提出了一个新的任务,即在视频中预测时空语义对应关系,为视频理解提供了新的思路,并且通过对两个现有基准数据集:Penn Action 和 Pouring 进行了注释和实验,最终得出了结论:最佳方法应综合考虑时空因素,而不是分别处理时间对齐和空间对应问题。
Jun, 2023
本文提出了一种利用自我监督方式从视频中学习可靠密集对应关系的方法,通过跟踪大规模图像区域和建立连续视频帧之间的像素级细粒度关联来实现。该方法利用共享的帧内亲和矩阵来建模两个任务之间的协同作用,在区域级别和像素级别同时建模视频帧之间的转换,从而在视觉对应任务中实现了优异的表现。
Sep, 2019
该论文介绍了一种简单而有效的方法来建模视频对象分割中的时空对应关系,使用对应关系实现内存高效且鲁棒的框架,并且使用负平方欧氏距离计算亲和力,实现了多对象的高速分割,并获得了最新的最高性能结果。
Jun, 2021
本文提出了一种空间 - 时间自我监督学习方法,通过对无标注图像的对比学习来提取空间特征,并通过重构学习利用无标注视频中的时间线索增强特征,以在视频分析任务上取得比现有自我监督方法更好的表现,并进行了削减研究以验证两步设计以及蒸馏损失的有效性。
Sep, 2022