本论文提出了一种名为 CAPro 的统一原型对比学习框架，它利用文本原型和视觉特征空间来解决 web 图像学习中的标签噪声问题，并取得了显著的性能提升。

Oct, 2023

提出了一种 Few-shot guided Prototypical (FoPro) 表示学习方法来从网络数据中进行有监督学习，并促进实现真实世界中的性能提升。该方法使用少量实际的标记示例，缩小了网络实例与 “现实” 原型之间的内部距离，并使用可学习的指标测量了图像 - 原型之间的距离。在实验中，FoPro 在网络数据集上进行训练并在现实世界数据集上进行指导和评估，取得了两个大型数据集三个细粒度数据集的最先进性能。与现有的 WSL 方法相比，FoPro 在同样的 Few-shot 设置下仍然在真实世界的推广方面表现优异。

Dec, 2022

本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发音人的变异性，进一步将提出的 MoCo 说话人嵌入引入到典型的内存银行中，并对半监督框架进行推广，取得了与现有技术相当的性能。

Dec, 2020

用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

Nov, 2019

提出 Unified Momentum Contrast (UniMoCo) 方法，支持任意比例的有标签数据和无标签数据的训练，在理论和实践上优于有监督对比损失，对于无监督、半监督和监督视觉表示学习具有很好的泛化能力。

Mar, 2021

通过在 MoCo 框架中实现 SimCLR 的两个设计改进（使用 MLP 投影头和更多数据增强），我们建立了更强的基线模型，而不需要大的训练批次，从而检验了对比无监督学习的有效性。

Mar, 2020

该论文提出了一种名为 ProS 的新方法，用于无监督的人脸表示学习，通过利用大量未标记的人脸图像进行综合的面部全表示学习，并通过原型匹配损失来增强学到特征的区分性，进一步针对不同任务进行微调，取得了领先的性能，同时还探讨了利用合成人脸图像进行预训练的效果。

Nov, 2023

该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

Aug, 2018

本研究提出了一种名为 SMoG 的基于对比视觉表示学习的方法，其在 ImageNet 数据集上的线性评估表现优于普通的有监督学习方法。该方法结合了实例级对比框架和基于聚类的方法的优点，使用一种名为 momentum grouping 的方案来解决聚类方法通常面临的监督信号滞后问题和实例对比方法存在的误判问题，经全面实验验证可以优于当前的无监督方法并实现线性评估，可应用于下游任务。

Jul, 2022

本文介绍了一种名为神经形态的动力对比学习（NeuroMoCo）的方法，该方法通过自监督预训练的方式有效激发了脉冲神经网络的潜力，并使用适用于时间特征的 MixInfoNCE 损失函数进一步提高了神经形态数据集的分类准确性，实验证明其在 DVS-CIFAR10、DVS128Gesture 和 N-Caltech101 数据集上均取得了新的最先进结果，分别为 83.6%、98.62% 和 84.4%。

Jun, 2024