CVPRApr, 2019

时间循环一致性学习

PDF
TL;DR本文提出了一种基于自我监督学习的视频时序对齐表征学习方法，其通过训练神经网络使用时间循环一致损失（TCC）来找到多个视频之间在时间上的对应关系，从而得到每一帧的表征，可用于快速地对视频进行对齐和分类。该方法在少量监督数据和其他自监督方法上都有较好的表现，同时还可用于多种视频应用领域的数据同步和异常检测。
self-supervised learningtemporal alignmentvideo embeddingfew-shot learninganomaly detection
发现论文，激发创造
  • 通过全局时间对齐和循环一致性进行表征学习

    本文提出了一种针对同一过程（如人类动作）的时间序列（例如视频）的弱监督表征学习方法，通过对全局时间序列进行对齐，并利用对齐的隐变量跨序列对的全局时间顺序作为监督信号进行表征学习，通过最优序列对齐进行嵌入网络的训练。通过大量实验表明，该方法在动作分类、少样本学习和视频同步等任务中均比之前的方法性能有了明显提高。

    May, 2021

  • 从时间的循环一致性中学习对应关系

    本文提出了一种自监督的方法，通过循环一致性来学习视觉对应关系，应用其学到的特征图表示可以在一系列视觉对应任务中取得较好的性能。

    Mar, 2019

  • 自监督视频表示学习的时间连续嵌入

    TCE 是一种自监督学习方法，利用无标签视频数据的内在结构在嵌入空间中明确强制执行时间上的连贯性，以便从大量无标签视频数据中学习出稳健的表示，该方法经过了对多个数据集的评估，能够继续改进视频动作识别的性能。

    Mar, 2020

  • 从叙述视频循环中学习时间动态

    提出了一种基于自监督训练的计算机视觉方法，通过结合视觉和语言的时间循环一致性来学习模型预测未来和过去的动态变化，并可应用于不同任务，如动作预测和图像排序。

    Jan, 2021

  • 时空视频对齐

    本文讨论了跨视频提取视觉对应关系的任务，提出了一种使用交叉视频循环一致性来学习空间和时间对应关系的新方法，成功实现了语义相似的贴片在视频中的对应，并学习到对物体和动作状态敏感的表示。

    Jul, 2020

  • 自监督视频表示学习的 Cycle-Contrast

    通过 CCL 方法，我们可以自我学习视频表示，从而在基于视频的应用程序中实现更好的性能。

    Oct, 2020

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 视频动作识别和检索的时间对比图学习

    提出了一种名为 TCGL 的自监督学习方法，通过建立图模型来学习视频的时序表示，利用 “片段内” 和 “片段间” 的时间依赖作为时序表示学习的自监督信号，在大规模行动识别和视频检索基准测试中展示了显著的性能优势。

    Jan, 2021

  • 稠密预测编码的视频表示学习

    本论文介绍了自监督学习，通过视频中的 Dense Predictive Coding (DPC) 框架形成具有密集的时空块的编码，利用课程训练方式预测未来，并在 Kinetics-400 数据集上进行实验，结果表明，DPC 的自监督预训练性能超过了以前的方法，并接近于在 ImageNet 上预先训练的基线。

    Sep, 2019