本文提出了一种有原则的方法来直接学习正样例和负样例，以配合和对抗的方式通过最大化和最小化对比损失来学习，获得了较好的预训练结果并开源了源代码和预训练模型。

Mar, 2022

本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

May, 2018

为了在更小的批次和更少的 epochs 中帮助神经网络学习更强大的特征表示，本文提出了一种新的对抗动量对比学习方法，并引入了对应于干净样本和对抗样本的两个存储器。与以前的对抗性预训练模型相比，该方法在更小的批量和更少的训练 epochs 下实现了更好的性能。此外，该模型在下游分类任务上微调后优于一些最先进的监督防御方法。

Dec, 2020

通过引入不对称信息最大化损失函数（asymmetric InfoNCE objective），从而区分对待对抗样本，提高对抗鲁棒性。该方法在多种微调模型下均能取得优异的效果。

Jul, 2022

本文提出 EqCo（基于等效规则的对比学习），可以使用仅包含极少数量负样本（如每个查询仅包含 16 个）的自监督对比训练在大规模图像数据集（如 ImageNet）上以接近原有准确率进行，缩短了当前实践中大型批量训练或记忆库机制所需的训练时间。此外，作者提出的 simplified MoCo（SiMo）在使用较少负样本情况下在 ImageNet 上表现与 MoCov2 相当，提示负样本数量不是对比学习框架的关键因素。

Oct, 2020

本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

Oct, 2020

本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。

Oct, 2020

本文提出了一种针对对抗性对比学习的新算法 CLAE，通过使用对抗性样本增强数据并在优化时考虑一个批次中的所有图片，能够更好地定义正负样本，充分提高自监督学习任务的性能和学习能力。

Oct, 2020

本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

Mar, 2022

本文探讨了在无监督领域适配中实例对比学习的思想，并提出一种引入语义先验的新型类别对比技术 (CaCo)，用于视觉无监督领域适配，通过考虑实例对比学习作为字典查找操作，构建了一个具有语义意识的字典，其中每个目标样本基于源样本的类别先验被分配一个 (伪) 类别标签，这允许对类别加以对比的学习，同时保持域不变的特征表示， 多项视觉任务的 UDA 实验表明，CaCo 相对于最先进的方法具有更优越的性能。同时实验还证明了 CaCo 对于现有 UDA 方法是有补充的，并且可以推广到其他学习设置，例如无监督模型适应、开放式 / 部分集验证等。

Jun, 2021