提出 Unified Momentum Contrast (UniMoCo) 方法，支持任意比例的有标签数据和无标签数据的训练，在理论和实践上优于有监督对比损失，对于无监督、半监督和监督视觉表示学习具有很好的泛化能力。

Mar, 2021

本文提出了 VideoMoCo，通过引入生成器丢弃视频输入样本中的几个帧，从两个方面改进 MoCo 的暂态特征表示。其通过自适应丢弃输入样本的不同帧来训练时变鲁棒编码器，同时使用时序衰减来模拟内存队列中的关键信息衰减，从而使暂态特征表达更强，在无需预设任务的情况下提高 MoCo 的效率。在 UCF101 和 HMDB51 等基准数据集上，实验结果表明 VideoMoCo 是一个最先进的视频表征学习方法。

Mar, 2021

该篇论文论述了一种名为 Extended Momentum Contrast (XMoCo) 的自我监督表示学习方法，该方法利用新的跨一致性正则化损失来扩展 MoCo 家族配置中动量编码器单元的框架，以处理消极样本交互所存在的特定差异和相似性。

Jun, 2022

通过自我监督学习的方法，采用不同的损失函数，在三个医学成像数据集上，比标准的 MoCo 方法表现更好，特别是在低标记数据情况下，平均增益为 5％，通过更高的特征重用性和更早学习信息提示，提出的预训练方法能够让模型在低标记数据清中呈现更好表现，为预训练方法提供了更多证据。

Oct, 2021

通过在 MoCo 框架中实现 SimCLR 的两个设计改进（使用 MLP 投影头和更多数据增强），我们建立了更强的基线模型，而不需要大的训练批次，从而检验了对比无监督学习的有效性。

Mar, 2020

本研究提出了一种名为 SMoG 的基于对比视觉表示学习的方法，其在 ImageNet 数据集上的线性评估表现优于普通的有监督学习方法。该方法结合了实例级对比框架和基于聚类的方法的优点，使用一种名为 momentum grouping 的方案来解决聚类方法通常面临的监督信号滞后问题和实例对比方法存在的误判问题，经全面实验验证可以优于当前的无监督方法并实现线性评估，可应用于下游任务。

Jul, 2022

本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发音人的变异性，进一步将提出的 MoCo 说话人嵌入引入到典型的内存银行中，并对半监督框架进行推广，取得了与现有技术相当的性能。

Dec, 2020

本文介绍了一种名为神经形态的动力对比学习（NeuroMoCo）的方法，该方法通过自监督预训练的方式有效激发了脉冲神经网络的潜力，并使用适用于时间特征的 MixInfoNCE 损失函数进一步提高了神经形态数据集的分类准确性，实验证明其在 DVS-CIFAR10、DVS128Gesture 和 N-Caltech101 数据集上均取得了新的最先进结果，分别为 83.6%、98.62% 和 84.4%。

Jun, 2024

TiCo 是一种基于自监督学习的视觉表示学习方法，通过最大化同一图像不同畸变版本的嵌入之间的一致性来使编码器产生具有变换不变性的表示，并通过正则化来避免平凡解。通过共同最小化转换不变性损失和协方差对比损失，获得能够产生有用表示用于下游任务的编码器，这种方法提供了一种视觉嵌入方法的新思路。

Jun, 2022

该研究提出了一种新的无监督对比学习框架 CO2，它利用了模仿半监督学习中的一致性正则化来处理标签分配策略的瓶颈问题，能够提高图像分类、目标检测和语义分割等任务的视觉表示能力。

Oct, 2020