ICCVAug, 2017

无监督排序序列的表示学习

PDF
TL;DR本文提出了一种利用视频进行无监督表示学习的方法，采用时序一致性作为监督信号，将表示学习形式化为序列排序任务，通过训练卷积神经网络对打乱的图像序列进行排序，以预测正确的顺序。实验结果表明，我们的方法在行动识别、图像分类和物体检测任务上比状态 - of-the-art 方法效果更好。
unsupervised representation learningvideosconvolutional neural networksequence sortingtemporal coherence
发现论文，激发创造
  • 洗牌学习：使用时间序列验证的无监督学习

    该论文提出了一种从视频的原始时空信号中学习视觉表示的方法，通过无监督的顺序验证任务，即确定来自视频的帧序列是否按照正确的时间顺序排列，学习卷积神经网络 (CNN) 的强大视觉表示，其结果显示出该方法在捕捉人类姿势等在时间上变化的信息方面具有敏感性，并可用于姿势估计和行动识别。

    Mar, 2016

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • SeCo: 探索序列监督以实现无监督表示学习

    本文探索了三个不同侧重的监督学习方式，并借此提出了一种名为 SeCo 的序列对比学习方法，可以优化行动识别、物体追踪等任务的结果。

    Aug, 2020

  • 通过深度强化学习改进时空自监督

    本研究提出了一种基于强化学习的采样策略，以适应网络状态，自适应采样新的排列，以更新卷积特征表示，进而在图像和视频分类及最近邻检索的标准基准测试中展现了具有竞争力的表现。

    Jul, 2018

  • 顺序有关：针对视频预测的乱序序列生成

    本研究提出一种名为 Shuffling sEquence gEneration Network (SEE-Net) 的模型，通过打乱视频帧的顺序并将其与真实视频序列进行比较来学习区分非自然的顺序信息，从而提升了视频预测的效果，实验结果表明该模型在合成和实际场景视频上的表现都优于其他先前的方法，其具有生成更加真实的内容，顺序信息对于视频生成至关重要的特点。

    Jul, 2019

  • 无监督的时间数据特征学习

    该研究旨在探讨基于无监督学习的视频数据特征学习，利用自编码器技术和慢特征学习，提出一种更为时空连贯、语义更为相似的度量标准。

    Apr, 2015

  • 联合表示学习与在线聚类进行无监督动作分割

    本文提出了一种新颖的无监督活动分割方法，该方法使用视频帧聚类作为预文本任务，并同时执行表示学习和在线聚类。通过使用时间最优传输来利用视频中的时间信息，同时，在计算伪标签聚类分配的标准最优传输模块中加入保留活动时间顺序的时间正则化项。与之前的方法相比，我们的方法不需要在离线模式下存储整个数据集的特征，而是以在线模式每次处理一个小批量。 extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par with or better than previous methods, despite having significantly less memory constraints.

    May, 2021

  • Skip-Clip：基于未来片段顺序排序的自监督时空表示学习

    本研究介绍了一种新颖的自监督表示学习方法，称为 Skip-Clip，该方法可以利用视频中的时间连贯性，用于训练模型进行视频未来的裁剪排序预测。研究结果表明，使用我们的方法学习到的特征是通用且可转移到下游任务的，并且在 UCF101 数据集上胜过随机初始化和使用 Inflated ImageNet 参数初始化的模型，跟领先自监督方法相比也取得了有竞争力的结果。

    Oct, 2019

  • 定制制作：通过自主学习的视频排序发现单调时间变化

    我们的目标是发现和定位图像序列中的单调时间变化。为了实现这一目标，我们利用了一个简单的代理任务，即对乱序图像序列进行排序，通过 ` 时间 ' 作为监督信号，因为只有与时间单调变化的改变才能产生正确的排序。我们还引入了一种灵活的基于 Transformer 的模型，用于任意长度图像序列的通用排序，并具备内置的归因图。经过训练，该模型成功地发现和定位了单调变化，同时忽略了周期性和随机性的变化。我们展示了该模型在多种视频场景和对象类型中的应用，发现了未见序列中的对象级和环境变化。我们还证明了基于注意力的归因图作为有效的提示用于分割变化区域，并且学到的表示可以用于下游应用。最后，我们展示了该模型在对图像集进行排序的标准基准上达到了业界最高水平。

    Apr, 2024