将 SCL 问题描述为 RoBERTa 语言模型精调阶段的多目标优化问题，使用线性标量化方法和精确 Pareto 最优解法解决优化问题，在多个 GLUE 基准任务上，无需使用数据增强、存储器库或生成对抗性示例，找到了比竞争对比学习基线更好的学习策略。

Sep, 2022

本文提出了一种叫做对比正则化调整的方法，把对比自监督学习应用在 Fei-tuning 中，用一种新颖的硬配对挖掘策略实现更有效的对比式 Fei-tuning，并平滑决策边界以更好地利用学习的判别式特征空间，证明了这种方法在图像分类和语义分割任务中的有效性。

Feb, 2021

本文分析了在细粒度文本分类任务情感分类和情感分析中预训练语言模型的对比微调。适应性嵌入类关系的对比目标函数可以有助于不同地权衡正面和负面情感，使得 Label-aware Contrastive Loss 在更多混淆类别的情况下表现更好。

Sep, 2021

提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

Aug, 2023

该研究通过开发一种对比自训练框架 (COSINE) 来解决使用弱监督 fine-tune 预训练语言模型 (LMs) 时的过拟合问题，实验证明该方法在自然语言处理的多个任务中表现优异。

Oct, 2020

本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略

Jun, 2023

本文研究了如何使用预训练的语言模型进行少样本文本分类，提出了一种基于有限标注数据的监督对比学习和大量无标注数据的一致性约束方法，并且提出一种新的对比一致性来改善模型性能。在四个数据集上的实验证明，我们的模型 (FTCC) 可以胜过现有的最佳方法并且具有更好的鲁棒性。

Sep, 2022

本文提出了一种基于对比学习的新的损失函数 TCL，该函数能够推广到批处理的多个正负样本，同时提供了参数来调整梯度响应，优化了难例的响应，理论和实验都证明了它的效果优于 SupCon

May, 2023

本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning，简称 SsCL) 的训练策略，将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合，进而联合优化两个目标，并使用神经网络来实现。结果表明，SsCL 产生了更具有区分性的表示，并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上，SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度，这比基线要好得多，也优于以前的半监督学习和自监督学习方法。

May, 2021

本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

Jan, 2022