ECCVJul, 2022

同步动量分组无监督视觉表征学习

PDF
TL;DR本研究提出了一种名为 SMoG 的基于对比视觉表示学习的方法，其在 ImageNet 数据集上的线性评估表现优于普通的有监督学习方法。该方法结合了实例级对比框架和基于聚类的方法的优点，使用一种名为 momentum grouping 的方案来解决聚类方法通常面临的监督信号滞后问题和实例对比方法存在的误判问题，经全面实验验证可以优于当前的无监督方法并实现线性评估，可应用于下游任务。
发现论文，激发创造
  • 无监督视觉表征学习的动量对比法

    用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

    Nov, 2019

  • UniMoCo: 无监督、半监督和全监督的视觉表示学习

    提出 Unified Momentum Contrast (UniMoCo) 方法，支持任意比例的有标签数据和无标签数据的训练，在理论和实践上优于有监督对比损失，对于无监督、半监督和监督视觉表示学习具有很好的泛化能力。

    Mar, 2021

  • 基于原型动量对比学习的自监督文本无关说话人验证

    本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发音人的变异性，进一步将提出的 MoCo 说话人嵌入引入到典型的内存银行中，并对半监督框架进行推广，取得了与现有技术相当的性能。

    Dec, 2020

  • 通过统一的梯度框架探索孪生自监督学习的等效性

    该研究提出了一种将自监督学习的不同方法统一在同一框架下进行比较的方法，并通过 UniGrad 提出了一种简单有效的自监督学习的梯度形式，其在线性评估和下游任务中表现出了卓越的效果。

    Dec, 2021

  • 无监督视觉表示学习的拼图聚类

    本文介绍了一种新的基于拼图聚类的预处理任务方式，可在降低训练成本的同时充分利用图像内部和外部信息进行训练，实现了与对比学习方法相当的效果，甚至在只使用一半的训练批次时也能够优于其他单批次方法。通过预训练模型，最终在 ImageNet 、CIFAR-10 和 CIFAR-100 数据集上实现了优异的成果。

    Apr, 2021

  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021

  • 为无监督视觉表示学习训练一百万类别的实例分类器

    该研究提出了一种简单的无监督视觉表示学习方法，使用参数化的实例级分类器来区分数据集中的所有图像作为前提任务。这种方法解决了大规模训练的困难，并提供了一种相似度先验，以在多个视觉任务中实现了竞争性的性能表现。

    Feb, 2021

  • TS-MoCo: 基于 Momentum Contrast 的时序动量对自监督生理学表示学习

    本文提出了一种新的编码框架，它依赖于自监督学习来学习各种生理领域的多元时间序列的表示，从而解决有限可用性的标记生理数据通常防止在生物医学机器智能领域使用强大的监督深度学习模型的问题，并得出新方法可以学会区分特征被用于下游分类任务。

    Jun, 2023

  • MoPro: 基于动量原型的网络监督学习

    本文提出了一种网络监督下的表示学习方法 —— 动量原型（MoPro），它能够在线修正标签噪声、删除分布之外的样本以及学习表示，实现了最先进的 WebVision 数据集性能，以及更好的图像分类和检测任务性能。

    Sep, 2020

  • 改进的动量对比学习基线

    通过在 MoCo 框架中实现 SimCLR 的两个设计改进（使用 MLP 投影头和更多数据增强），我们建立了更强的基线模型，而不需要大的训练批次，从而检验了对比无监督学习的有效性。

    Mar, 2020