本文提出了一种多层对比学习模型，用于模拟回复的细粒度质量。通过设计一个排名感知校准网络和关键词知识推断组件，提高响应的相关性和多样性。实验结果表明，与基线模型相比，该模型能够生成更相关且多样化的回复。

Sep, 2020

通过使用外部知识补充上下文，知识感知对话生成旨在减轻文本退化问题，然而，模型经常无法以人类方式将这些信息内化为响应，而仅简单地将所提供的知识片段插入到通用响应中，导致生成的响应往往乏味、不连贯且缺乏互动性，这意味着退化问题仍未解决。在这项工作中，我们首先发现，这种复制式退化主要是由于弱似然目标，这使得模型可以通过仅基于重叠的表面模式匹配来 “欺骗” 这个目标而复制知识片段。为了克服这一挑战，我们提出一种多级自适应对比学习（MACL）框架，该框架动态采样负例，并随后在令牌级别和序列级别上惩罚退化行为。广泛的实验验证了我们的方法在 WoW 数据集上的有效性以及在各种预训练模型上的适用性。

Oct, 2023

该论文研究了在多轮对话中选择最适当的回应是一个检索型对话系统的关键问题，提出了一种基于受监督对比学习的新方法并应用于回应选取中，利用句子标记交换和句子重排序的技术，经过实验验证，该方法明显优于基线和目前各种方法。

Mar, 2022

本文提出一种基于对比学习的框架，使用不同的增强 “视图” 将同一类别的输入聚类，远离来自不同类别的输入，将对比损失与标准的掩码语言建模（MLM）损失相结合，并应用于基于提示的少样本学习者，实验结果表明，我们的方法在 15 种不同的语言任务中表现优于现有的先进方法。

May, 2022

本文提出一种新的训练神经序列模型，将判别式对话模型的知识传递到生成式对话模型中，通过 Gumbel-Softmax 逼近离散分布，建立了一个可端对端训练的生成式视觉对话模型，并在视觉对话数据集上显著优于现有模型 (10 个问题中有 2.67 个问题得分有所提高)。

Jun, 2017

本文研究了在深度候选生成（DCG）中使用对比学习的有效性，理论证明了对比损失函数等效于通过逆倾向加权来减少暴露偏差，并提出了 CLRec 和 Multi-CLRec 方法用于改善大规模推荐系统的公平性、效率和准确性。该方法在淘宝上的四个月在线 A/B 测试和离线分析中表现出显著的改善，包括 Matthew 效应的显著降低。

May, 2020

利用对照性示例来提高大型语言模型对我们的意图的理解以及生成内容的能力，在合成和真实数据集上的实验证明该方法显著提升了性能。

Jan, 2024

通过引入一种新的基于主题向量集合的对比学习方法，并将其明确地作为基于梯度的多目标优化问题，本研究旨在实现一个平衡 ELBO 和对比目标之间的权衡的帕累托稳定解，广泛的实验证明我们的框架在主题连贯性、主题多样性和下游性能方面始终产生更高性能的神经主题模型。

Feb, 2024

本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

Feb, 2022

基于对话文本和外部知识的知识驱动对话系统面临实际应用中各种噪声干扰，为提高系统鲁棒性，我们提出了一种基于实体对比学习的框架，通过引入两种类型的干扰样本，使得模型在真实应用中能够生成具有信息性的回应，实验证明该方法在三个基准数据集上实现了最新的性能提升，并在噪声和少样本场景下胜过其他模型。

Jan, 2024