本研究评估了 16 种主要语言的自回归 LMs 的各向同性，并推出一个校准自回归 LMs 表示的对比学习方案，并基于此方案提出了一种新的解码方法，称为对比搜索，它在各种各样的基准测试中取得了最新的成果，显示出其高度的性能，无需任何附加的训练，其中在 16 个被评估的语言中有 12 个语种比人类评估得分相当。
Oct, 2022
本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。
May, 2022
本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。
Apr, 2019
本文提出一种基于对比解码的生成算法，将大型语言模型与小型语言模型相比较，找出高质量的文本生成结果，并在自动和人工评估中优于四种强大的解码算法。
利用对比解码方法生成的文本展现在各种推理任务中相比贪婪解码有着显著的提升，并在 HellaSwag 常识推理基准测试中胜过 LLaMA 2、GPT-3.5 和 PaLM 2-L，在 GSM8K 数学词语推理基准测试中超过 LLaMA 2、GPT-3.5 和 PaLM-540B，同时在其他任务中也有进步。分析表明，对比解码通过防止一些抽象推理错误和避免简单的复制输入部分来改善现有方法，从而在长文本生成和推理任务方面优于核心取样和贪婪解码，使其成为从语言模型生成文本的强大通用方法。
Sep, 2023
提出一种基于非似然训练的神经文本生成方法，有效降低生成文本的重复性，将标准束搜索的输出性能提升至目前最优，并提供了一种强有力的替代神经文本生成中已有技术的方法。
Aug, 2019
我们提出了对比记号学习目标，它继承了交叉熵和不可能性训练的优点，同时避免了它们的局限性，通过在语言建模和开放域对话生成任务中的全面实验，我们发现所提出的对比记号目标可以使生成的文本重复性减少，提高了生成质量，达到了文本退化的最新性能水平。
本文提出了一种名为 ContraGen 的对比学习框架，用于解决语言生成过程中的表示限制问题，该框架可以显著提高表征的均匀性和区分性，改善语言理解和源代码生成的表现。
本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。
Nov, 2018
该研究对语言生成任务和解码策略之间的相互作用进行了全面分析，测量了生成文本属性随着解码策略和任务的变化情况，并使用人工和自动评估发现了之前观察到的和令人惊讶的结果，如语言生成中的多样性与质量之间的平衡是非常特定于任务的，而模式搜索方法如光束搜索在机器翻译中表现出色，但在故事生成中会导致不连贯和重复的文本。
Mar, 2022