提出了一个名为 ContrastNet 的对比学习框架，来解决少样本文本分类问题中类间相似性引起的混淆和过拟合的问题。经实验证明该方法在 8 个少样本文本分类数据集上优于当前技术水平。

May, 2023

本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

Jul, 2023

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

本文探讨使用反差学习作为辅助训练目标来促进更通用和可转移的特征，在此基础上提出了一种基于注意力的空间反差目标来学习本地区分和类别不可知特征。通过大量实验证明了该方法优于最先进的方法，证实了学习良好、可转移的嵌入在 few-shot 学习中的重要性。

Dec, 2020

本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

Sep, 2022

通过引入对比损失和学习算法，本研究提升了少样本分类任务中的细分子类别鉴别能力，实现了在嵌入空间中的潜在细粒度结构学习，并通过在标准小样本学习基准测试中的广泛试验验证了该方法的优越性。

Jul, 2021

本文分析了在细粒度文本分类任务情感分类和情感分析中预训练语言模型的对比微调。适应性嵌入类关系的对比目标函数可以有助于不同地权衡正面和负面情感，使得 Label-aware Contrastive Loss 在更多混淆类别的情况下表现更好。

Sep, 2021

本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

Oct, 2022

为了解决深度学习中少样本学习的挑战，我们提出了一个简单而有效的框架，专门设计用于利用文本信息和语言模型，通过学习可调的提示来显式地利用预训练的语言模型的零样本能力，并且直接将视觉特征和文本特征进行推断而无需复杂设计的融合模块，进一步运用自集成和蒸馏来增强这些组件，在四个广泛使用的少样本数据集上进行了大量实验证明我们的简单框架取得了令人印象深刻的结果，特别值得注意的是，在 1-shot 学习任务中，我们的分类准确率平均超过基准方法 3.0%。

Jan, 2024

本研究提出采用一致性正则化改进跨语言 fine-tuning 的方法，通过示例一致性正则化对子词采样、高斯噪声、代码切换和机器翻译四种数据增广方式的敏感性进行惩罚，并采用模型的一致性正则化方法对同一训练集上经过增广的两个版本的模型进行规范化。在 XTREME 基准测试中，实验结果表明，我们的方法显着提高了跨语言 fine-tuning 在各种任务中的性能，包括文本分类、问题回答和序列标注。

Jun, 2021