通过混合真实分布和平滑分布的方式，该论文提出了一个改进的 top-p 或 top-k 算法来缩短神经语言模型中的文本，并介绍了一种称为 eta-sampling 的更好的算法，可以更好地生成符合人类预期的自然语言文本。

Oct, 2022

本文通过使用 conformal prediction 方法对 $p$ 参数进行校准来研究 top-$p$ 采样在各种语言上下文环境下是否与其概率意义对齐，结果表明 OPT 模型存在过度自信，而校准与模型大小存在适度的反比关系。

May, 2023

本文提出使用 entmax 转换来训练和采样自然稀疏的语言模型，从而避免训练和测试之间的差异，以达到更好的性能和更接近人类文本的 n-gram 多样性，同时提出了三个度量标准来比较稀疏或截断的分布，并通过故事和对话生成等应用展示了该方法的有效性。

Apr, 2020

大型语言模型在生成和优化代码方面展现出巨大潜力。我们提出了一种简单而确定性的采样技术 —— 优先采样，它通过模型的置信度产生唯一的样本，从而在生成过程中改善了性能。优先采样还支持基于正则表达式的生成，提供了可控且有结构的探索过程。相比于 Nucleus 采样，优先采样在任意数量的样本中表现更好，将原始模型的性能提升了 2.87% 至 5% 的改进，并在仅仅 30 个样本中胜过用于原始模型训练标签生成的自动调参器。

Feb, 2024

通过理论证明截断采样方法能保证所有抽样的 Token 具有非零真实概率，同时基于模型中的 softmax 限制证明某些 Token 具有非零真实概率，我们开发了一种实验性的截断策略，并通过试验展示了其在低熵开放式文本生成中优于传统基于阈值的方法的性能，这些理论发现和试验结果推动了更具表现力的采样算法以展现大型语言模型的生成能力。

Oct, 2023

通过分析代码标记的丢失分布，我们发现代码标记可以分为两类：难以预测的具有挑战性的标记和容易推测的自信标记。基于以上发现，我们提出了一种简单而有效的方法：自适应温度采样（AdapT sampling），通过在解码不同的标记时动态调整温度系数。我们将难以预测的标记采样时应用较高的温度，从而使 LLMs 能够探索多样的选择。我们在不同规模的 LLMs 上应用 AdapT 采样，并在两个常用数据集上进行评估，结果表明 AdapT 采样明显优于最先进的解码策略。

Sep, 2023

本文提出了通过 KL 散度来动态调整温度的采样算法，以减轻基于源文件的预测算法中多样性与制约之间的平衡问题，实验证明该算法在对话问答和摘要任务中优于传统的 top-k 和 top-p 算法。

Jun, 2023

提出一种基于熵的动态温度抽样方法来平衡生成质量和多样性，实验结果表明在不同任务上 EDT 显著优于现有策略。

Mar, 2024

本文提出了一种新的采样方法 UniMax，可在平衡语言之间的差异并减轻尾部语言的过拟合的同时，提供更加均匀的头部语言覆盖，并在一系列多语言评估基准测试中证明了 UniMax 的优越性和其随着模型规模的增加而持续的优点。

Apr, 2023

本文提出了一种名为 REAL（Residual Entropy from Asymptotic Line）采样的解码方法，通过预测自适应阈值 $p$，实现了比核心采样更好的准确性和多样性。实验结果表明，结合对比解码后，REAL 采样优于 9 种采样方法，生成的文本既比贪婪采样更准确，又比 $p=0.5$ 的核心采样更多样。此外，预测的渐近熵也是幻觉检测任务中一种有用的无监督信号。

Jun, 2024