通过分析代码标记的丢失分布，我们发现代码标记可以分为两类：难以预测的具有挑战性的标记和容易推测的自信标记。基于以上发现，我们提出了一种简单而有效的方法：自适应温度采样（AdapT sampling），通过在解码不同的标记时动态调整温度系数。我们将难以预测的标记采样时应用较高的温度，从而使 LLMs 能够探索多样的选择。我们在不同规模的 LLMs 上应用 AdapT 采样，并在两个常用数据集上进行评估，结果表明 AdapT 采样明显优于最先进的解码策略。

Sep, 2023

提出一种基于熵的动态温度抽样方法来平衡生成质量和多样性，实验结果表明在不同任务上 EDT 显著优于现有策略。

Mar, 2024

通过对大型语言模型的不同采样温度进行实证研究，发现采样温度在 0.0 至 1.0 范围内对于解决问题的性能没有统计学上显著的影响。

Feb, 2024

本篇论文研究自然语言生成中存在的曝光偏差问题，指出了评估基准的不足之处，并证明在整个质量和多样性空间中，最大似然估计（Maximum-Likelihood）模型在质量和多样性方面表现优于对抗性变体，且温度调整提供了更好的质量 / 多样性权衡。

Nov, 2018

本文介绍了一种适用于大型语言模型的解码方法，可以在保持输出多样性的同时实现并行计算，并在 WMT 机器翻译任务中取得了明显提高。

Oct, 2022

本文提出了一种新的温度缩放采样方法 Long Horizon Temperature Scaling (LHTS)，其优化样本的长线时间似然度，将该方法应用于图像扩散模型和字符 / 语言自回归模型，并证明在可能性和样本质量方面相对于目光短浅的温度缩放有优势，在多项选择类比任务的准确性上也有 10% 的提升。

Feb, 2023

介绍了一种动态温度知识蒸馏（DTKD）方法，通过量化模型输出分布的平滑度来为教师和学生模型分别确定样本特定的温度，从而在知识传递过程中提高性能。在 CIFAR-100 和 ImageNet-2012 上的实验证明，DTKD 在目标类和非目标类知识蒸馏方案中表现出较高的鲁棒性。

Apr, 2024

提出了一种动态截断采样方法 min-$p$，通过在生成文本时根据候选词的概率来建立最小基础百分比阈值来平衡自洽性和创造力，实验表明 min-$p$ 在高温度下提高了生成文本的一致性和质量，同时与 top-$p$ 和其他采样方法相比，还能产生更具创意和多样性的文本输出。

Jul, 2024

本文提出了一种用分布鲁棒优化方法系统地优化具有个性化温度对比损失的自监督学习的方法，该方法基于数据分布特点，对超参数进行了自动调整，并在实验中表现出优于已有方法的性能。

May, 2023

本文探究了利用重要性抽样法进行神经机器翻译中的知识蒸馏，包括剪枝、假设上采样和下采样、去重和它们的组合，并使用标准的翻译质量评估方法对英德和英捷翻译模型进行训练与测试，结果显示，仔细选择合适的数据进行上采样并与原始数据组合，可获得更好的性能提升。

Apr, 2021