本研究比较了两种最近提出的解码方法，即对比搜索（CS）和对比解码（CD），发现尽管 CS 在 MAUVE 指标上表现不佳，但在多样性和连贯性指标上大大超过 CD。人工评估显示，人类注释器普遍更喜欢 CS 而非 CD，MAUVE 与人工评估之间的矛盾表明 MAUVE 不准确反映人类偏好，需要开发更好的评估指标来确保生成结果的可复制性。

Nov, 2022

利用对比解码方法生成的文本展现在各种推理任务中相比贪婪解码有着显著的提升，并在 HellaSwag 常识推理基准测试中胜过 LLaMA 2、GPT-3.5 和 PaLM 2-L，在 GSM8K 数学词语推理基准测试中超过 LLaMA 2、GPT-3.5 和 PaLM-540B，同时在其他任务中也有进步。分析表明，对比解码通过防止一些抽象推理错误和避免简单的复制输入部分来改善现有方法，从而在长文本生成和推理任务方面优于核心取样和贪婪解码，使其成为从语言模型生成文本的强大通用方法。

Sep, 2023

提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

Feb, 2022

我们提出了对比记号学习目标，它继承了交叉熵和不可能性训练的优点，同时避免了它们的局限性，通过在语言建模和开放域对话生成任务中的全面实验，我们发现所提出的对比记号目标可以使生成的文本重复性减少，提高了生成质量，达到了文本退化的最新性能水平。

May, 2022

应用于大型语言模型的安全对齐方法，无需对目标模型进行训练，采用对比解码技术以生成两个相对系统提示，从而有效提高其安全性能。

Jun, 2024

通过对大型语言模型进行推测性对比解码，提高了生成质量的同时节省了计算资源。

Nov, 2023

提出对比性输入解码算法 (CID) 来量化大型语言模型对不同输入的行为变化，发现标准解码策略未能检测到的特定语境偏差。

May, 2023

大型语言模型在生成文本时常常不能充分整合输入上下文，过度依赖模型参数中的编码先验知识，导致生成的文本存在事实不一致或上下文不忠实的内容。本研究提出了一种新颖的方法，利用对抗性无关信息作为负样本，通过对比解码来增强生成过程中的强大上下文基础。值得注意的是，我们的方法在推理时不需要额外的训练，并通过全面实验证明了其可行性和有效性，提供了实证证据表明其优于现有方法。

May, 2024

通过使用 Distillation Contrastive Decoding（DCD）方法，我们成功提升了大型语言模型（LLM）在推理过程中的推理能力，该方法结合了 Contrastive Chain-of-thought Prompting 和先进的蒸馏技术，包括 Dropout 和 Quantization，以解决 Contrastive Decoding（CD）的局限性，增强了模型性能。

Feb, 2024

本文介绍了一种新型的批判性解码方法来实现语言生成的控制，在控制主题、情感和排毒方面，表现得比以前的方法更好，并且在零 - shot 情况下表现出卓越的泛化能力。

Dec, 2022