调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

Jun, 2019

将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

Apr, 2020

通过分析代码标记的丢失分布，我们发现代码标记可以分为两类：难以预测的具有挑战性的标记和容易推测的自信标记。基于以上发现，我们提出了一种简单而有效的方法：自适应温度采样（AdapT sampling），通过在解码不同的标记时动态调整温度系数。我们将难以预测的标记采样时应用较高的温度，从而使 LLMs 能够探索多样的选择。我们在不同规模的 LLMs 上应用 AdapT 采样，并在两个常用数据集上进行评估，结果表明 AdapT 采样明显优于最先进的解码策略。

Sep, 2023

介绍了一种基于 “假设采样” 的算法，将 Transformer 解码加速 2 至 2.5 倍，同时保持样本质量和预测分布。

Feb, 2023

本文提出了通过 KL 散度来动态调整温度的采样算法，以减轻基于源文件的预测算法中多样性与制约之间的平衡问题，实验证明该算法在对话问答和摘要任务中优于传统的 top-k 和 top-p 算法。

Jun, 2023

本文主要探究了条件循环语言建模方面的一些进展和应用，提出了一个新的非常并行化的解码策略，并在诸如注意力机制和深度神经网络的领域进行了广泛的评估。

May, 2016

该论文提出了一种简单快速的解码算法，在神经生成过程中促进多样性，评估结果表明，多样性解码有助于各种任务，特别是在需要重新排名的任务中，并进一步提出了一种能够自动调整不同输入的多样性解码速率的变化，通过强化学习技术实现，观察到进一步的性能提升。

Nov, 2016

应用 Gumbel-Top-k 技巧和分解可重复采样，使用随机束搜索进行无重复抽样序列模型的研究，发现序列采样中存在随机束搜索和确定性束搜索之间的理论联系，这一方法在翻译任务中表现优异，且采样无重复序列可用于构造期望 BLEU 得分和模型熵的低方差估计。

Mar, 2019

提出一种名为 Diverse Beam Search (DBS) 的算法，以优化多样性目标解码出一系列多样化的输出，旨在解决 Beam Search 算法在复杂人工智能任务解码过程中无法准确捕捉复杂任务本质的问题，并在图像字幕生成、机器翻译和视觉问答生成等任务中取得更好的性能表现。

Oct, 2016

通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。

Oct, 2023