Mar, 2021

UniMoCo: 无监督、半监督和全监督的视觉表示学习

PDF
TL;DR提出 Unified Momentum Contrast (UniMoCo) 方法，支持任意比例的有标签数据和无标签数据的训练，在理论和实践上优于有监督对比损失，对于无监督、半监督和监督视觉表示学习具有很好的泛化能力。
unsupervised visual representationunified momentum contrastunicon losssemi-supervised learningsupervised learning
发现论文，激发创造
  • 无监督视觉表征学习的动量对比法

    用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

    Nov, 2019

  • 扩展动量对比法：基于交叉相似性一致性正则化

    该篇论文论述了一种名为 Extended Momentum Contrast (XMoCo) 的自我监督表示学习方法，该方法利用新的跨一致性正则化损失来扩展 MoCo 家族配置中动量编码器单元的框架，以处理消极样本交互所存在的特定差异和相似性。

    Jun, 2022

  • VideoMoCo：时序对抗样本的对比视频表示学习

    本文提出了 VideoMoCo，通过引入生成器丢弃视频输入样本中的几个帧，从两个方面改进 MoCo 的暂态特征表示。其通过自适应丢弃输入样本的不同帧来训练时变鲁棒编码器，同时使用时序衰减来模拟内存队列中的关键信息衰减，从而使暂态特征表达更强，在无需预设任务的情况下提高 MoCo 的效率。在 UCF101 和 HMDB51 等基准数据集上，实验结果表明 VideoMoCo 是一个最先进的视频表征学习方法。

    Mar, 2021

  • 改进的动量对比学习基线

    通过在 MoCo 框架中实现 SimCLR 的两个设计改进（使用 MLP 投影头和更多数据增强），我们建立了更强的基线模型，而不需要大的训练批次，从而检验了对比无监督学习的有效性。

    Mar, 2020

  • 动量对比自监督学习中中间层的重要性

    通过自我监督学习的方法，采用不同的损失函数，在三个医学成像数据集上，比标准的 MoCo 方法表现更好，特别是在低标记数据情况下，平均增益为 5％，通过更高的特征重用性和更早学习信息提示，提出的预训练方法能够让模型在低标记数据清中呈现更好表现，为预训练方法提供了更多证据。

    Oct, 2021

  • MixCo：视觉表征的混合对比学习

    本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。

    Oct, 2020

  • 同步动量分组无监督视觉表征学习

    本研究提出了一种名为 SMoG 的基于对比视觉表示学习的方法，其在 ImageNet 数据集上的线性评估表现优于普通的有监督学习方法。该方法结合了实例级对比框架和基于聚类的方法的优点，使用一种名为 momentum grouping 的方案来解决聚类方法通常面临的监督信号滞后问题和实例对比方法存在的误判问题，经全面实验验证可以优于当前的无监督方法并实现线性评估，可应用于下游任务。

    Jul, 2022

  • CO2: 无监督视觉表征学习的一致性对比

    该研究提出了一种新的无监督对比学习框架 CO2，它利用了模仿半监督学习中的一致性正则化来处理标签分配策略的瓶颈问题，能够提高图像分类、目标检测和语义分割等任务的视觉表示能力。

    Oct, 2020

  • MoPro: 基于动量原型的网络监督学习

    本文提出了一种网络监督下的表示学习方法 —— 动量原型（MoPro），它能够在线修正标签噪声、删除分布之外的样本以及学习表示，实现了最先进的 WebVision 数据集性能，以及更好的图像分类和检测任务性能。

    Sep, 2020

  • UniCorn: 多视图分子表示学习的统一对比学习方法

    通过对比学习，我们提出了一种名为 UniCorn 的新型预训练框架，具备对分子进行三个不同层次的视图描绘，从而实现了完整且通用的分子表示，并在量子、物理化学和生物学任务中取得了最佳性能，验证了 UniCorn 的普适性和有效性。

    May, 2024