用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

Nov, 2019

提出 Unified Momentum Contrast (UniMoCo) 方法，支持任意比例的有标签数据和无标签数据的训练，在理论和实践上优于有监督对比损失，对于无监督、半监督和监督视觉表示学习具有很好的泛化能力。

Mar, 2021

通过自我监督学习的方法，采用不同的损失函数，在三个医学成像数据集上，比标准的 MoCo 方法表现更好，特别是在低标记数据情况下，平均增益为 5％，通过更高的特征重用性和更早学习信息提示，提出的预训练方法能够让模型在低标记数据清中呈现更好表现，为预训练方法提供了更多证据。

Oct, 2021

该研究提出了一种新的无监督对比学习框架 CO2，它利用了模仿半监督学习中的一致性正则化来处理标签分配策略的瓶颈问题，能够提高图像分类、目标检测和语义分割等任务的视觉表示能力。

Oct, 2020

本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。

Oct, 2020

本文提出 EqCo（基于等效规则的对比学习），可以使用仅包含极少数量负样本（如每个查询仅包含 16 个）的自监督对比训练在大规模图像数据集（如 ImageNet）上以接近原有准确率进行，缩短了当前实践中大型批量训练或记忆库机制所需的训练时间。此外，作者提出的 simplified MoCo（SiMo）在使用较少负样本情况下在 ImageNet 上表现与 MoCov2 相当，提示负样本数量不是对比学习框架的关键因素。

Oct, 2020

本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发音人的变异性，进一步将提出的 MoCo 说话人嵌入引入到典型的内存银行中，并对半监督框架进行推广，取得了与现有技术相当的性能。

Dec, 2020

本文介绍了使用对比学习方法 Momentum Contrast（MoCo）的改进版本 MoCo-CXR，将其应用于胸部 X 线检测的路径学疾病识别，并探讨了其对预训练模型表征和初始化的改进效果，结果表明 MoCo-CXR 的预训练模型优于未经过 MoCo-CXR 的模型，并证明预训练模型提供的最大好处是能够应用于胸部 X 线数据集和任务的模型表征和可转移性。

Oct, 2020

本文提出了 VideoMoCo，通过引入生成器丢弃视频输入样本中的几个帧，从两个方面改进 MoCo 的暂态特征表示。其通过自适应丢弃输入样本的不同帧来训练时变鲁棒编码器，同时使用时序衰减来模拟内存队列中的关键信息衰减，从而使暂态特征表达更强，在无需预设任务的情况下提高 MoCo 的效率。在 UCF101 和 HMDB51 等基准数据集上，实验结果表明 VideoMoCo 是一个最先进的视频表征学习方法。

Mar, 2021

TiCo 是一种基于自监督学习的视觉表示学习方法，通过最大化同一图像不同畸变版本的嵌入之间的一致性来使编码器产生具有变换不变性的表示，并通过正则化来避免平凡解。通过共同最小化转换不变性损失和协方差对比损失，获得能够产生有用表示用于下游任务的编码器，这种方法提供了一种视觉嵌入方法的新思路。

Jun, 2022