Sep, 2023

通过动态温度采样来改善代码生成

PDF
TL;DR通过分析代码标记的丢失分布，我们发现代码标记可以分为两类：难以预测的具有挑战性的标记和容易推测的自信标记。基于以上发现，我们提出了一种简单而有效的方法：自适应温度采样（AdapT sampling），通过在解码不同的标记时动态调整温度系数。我们将难以预测的标记采样时应用较高的温度，从而使 LLMs 能够探索多样的选择。我们在不同规模的 LLMs 上应用 AdapT 采样，并在两个常用数据集上进行评估，结果表明 AdapT 采样明显优于最先进的解码策略。
large language modelscode generationdecoder strategychallenging tokensadaptive temperature sampling
发现论文，激发创造
  • EDT: 基于熵的动态温度采样改进大型语言模型的生成

    提出一种基于熵的动态温度抽样方法来平衡生成质量和多样性，实验结果表明在不同任务上 EDT 显著优于现有策略。

    Mar, 2024

  • KL 散度引导的温度采样

    本文提出了通过 KL 散度来动态调整温度的采样算法，以减轻基于源文件的预测算法中多样性与制约之间的平衡问题，实验证明该算法在对话问答和摘要任务中优于传统的 top-k 和 top-p 算法。

    Jun, 2023

  • 采样温度对大型语言模型的问题解决效果的影响

    通过对大型语言模型的不同采样温度进行实证研究，发现采样温度在 0.0 至 1.0 范围内对于解决问题的性能没有统计学上显著的影响。

    Feb, 2024

  • 通过自适应解码改善开放式文本生成

    当前语言模型以概率分布逐词解码文本，本研究引入了自适应解码机制，使语言模型能够在生成过程中动态地确定合理的候选集。实验结果显示我们的方法在故事生成任务中实现了更高的 MAUVE 和多样性，同时保持了一定的连贯性，凸现了其优越性。

    Feb, 2024

  • 算术采样：大型语言模型的并行多样解码

    本文介绍了一种适用于大型语言模型的解码方法，可以在保持输出多样性的同时实现并行计算，并在 WMT 机器翻译任务中取得了明显提高。

    Oct, 2022

  • 通过期望值计算改进生成式语言模型的阅读理解能力中未使用信息的词汇概率分布

    LLM 文本解码是感知 LLM 质量的关键组成部分。我们展示了两个实验，证明通过操纵记号概率可以改进解码方法。首先，我们在 SummEval 摘要评分数据集上测试了几个 LLM，以衡量阅读理解能力。我们将得分与下一个记号分布的预期值进行比较，通过放大温度来缩放 logits 以增加得分的熵。这使得在 SummEval 上性能得到了显著提高（通过与人类判断的相关性来衡量）。对于 7B Mistral，我们从 6-8% 提高到 13-28%，对于 Mixtral，我们从 20%-46% 提高到 37%-56%，超过了 GPT 4 0314 在两个度量指标上的结果。提升的一部分似乎与位置偏置相关。其次，我们使用基于概率的树采样算法来检查给定提示的所有最可能生成的结果。

    Jun, 2024

  • 利用投机抽样加速大型语言模型解码

    介绍了一种基于 “假设采样” 的算法，将 Transformer 解码加速 2 至 2.5 倍，同时保持样本质量和预测分布。

    Feb, 2023

  • 高温下的创造力与连贯性的平衡：最小 P 采样

    提出了一种动态截断采样方法 min-$p$，通过在生成文本时根据候选词的概率来建立最小基础百分比阈值来平衡自洽性和创造力，实验表明 min-$p$ 在高温度下提高了生成文本的一致性和质量，同时与 top-$p$ 和其他采样方法相比，还能产生更具创意和多样性的文本输出。

    Jul, 2024

  • 温度网络遇见大型基础模型：通过 DRO 冷却还是不冷却？

    本文提出了一个基于约束分布稳健优化（DRO）的有稳健性损失下的小而通用的温度预测网络（TempNet）的学习框架，并给出了相应的温度参数的定义和训练方法，实验证明 TempNet 可以显著改善现有解决方案或模型的性能。

    Apr, 2024

  • EMS-SD：高效的多样本猜测解码用于加速大型语言模型

    通过提出一种新方法，解决多样本推断速度提高中可变数量的 token 导致效率下降的问题，无需增加计算和内存开销，并且可以处理不一致的样本预测 token 的情况。

    May, 2024