该研究通过全面而多方位的分析，评估了大型语言模型在各种任务、模型和部署环境下的解码方法的性能表现、对超参数变化的鲁棒性和解码速度，发现解码方法的性能与任务相关，并受到对齐、模型规模和量化等因素的影响。有趣的敏感性分析揭示了某些方法在广泛超参数调节的代价下实现了更优的性能，凸显了在不同环境中实现最优结果与实施实用性之间的权衡。

Feb, 2024

我们的研究工作通过指令调整大型语言模型的推理过程，提升其效率同时保持生成质量，这是推广应用这类模型的重要一步。

Oct, 2023

LLM 文本解码是感知 LLM 质量的关键组成部分。我们展示了两个实验，证明通过操纵记号概率可以改进解码方法。首先，我们在 SummEval 摘要评分数据集上测试了几个 LLM，以衡量阅读理解能力。我们将得分与下一个记号分布的预期值进行比较，通过放大温度来缩放 logits 以增加得分的熵。这使得在 SummEval 上性能得到了显著提高（通过与人类判断的相关性来衡量）。对于 7B Mistral，我们从 6-8% 提高到 13-28%，对于 Mixtral，我们从 20%-46% 提高到 37%-56%，超过了 GPT 4 0314 在两个度量指标上的结果。提升的一部分似乎与位置偏置相关。其次，我们使用基于概率的树采样算法来检查给定提示的所有最可能生成的结果。

Jun, 2024

我们提出了一种混合方法，结合不同规模的语言模型以提高自回归解码的效率，同时保持高性能。该方法利用一个预先训练的冻结语言模型来编码所有提示标记，然后使用生成的表示来引导一个较小的语言模型来更高效地生成响应。与 LLM 相比，我们的方法在翻译和摘要任务中实现了高达 4 倍的速度提升，但只有 1-2% 的性能损失。

Feb, 2024

我们提出了一种方法，通过在标记级别交替生成来教授多个大型语言模型（LLM）进行协作。我们将下一个标记由哪个 LLM 生成的决策建模为潜在变量。通过在潜在变量模型下优化训练集的边际似然，基础 LLM 自动学习何时生成自己，并在需要时调用其中一个 `` 助理 '' 语言模型进行生成，无需直接监督。解码过程中的标记级别协作允许以适应特定任务的方式融合每个模型的专长。我们的协作解码在跨领域设置中特别有用，其中广义的基础 LLM 学习调用领域专家模型。在指令遵循、领域特定问答和推理任务中，我们展示了联合系统的性能超过各个模型。通过对学习到的潜在决策进行定性分析，我们展示了使用我们方法训练的模型呈现了几种有趣的协作模式，例如模板填充。我们的代码可在此 URL 找到。

Mar, 2024

本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。

May, 2023

提前训练的语言模型能够通过改进序列标记任务的表现，优于基于自回归语言模型的编码器，并通过去除因果掩码在信息提取任务中取得了与前沿模型相媲美的性能。

Jan, 2024

为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。

Feb, 2024

大语言模型（LLMs）在追求超人类表现时，传统上一直依赖于人类注释的数据集和预定义的训练目标 - 这是一种既费时又固有有限的过程。本文提出了一种变革性的方法：自主学习 LLMs，这是一种无监督学习范式，使模型摆脱了人类监督的限制。我们的方法使 LLMs 能够通过与文本的直接交互来自我教育，类似于人类阅读和理解文学。我们的实证结果表明，自主学习在综合实验中表现优于预训练、监督微调以及检索增强方法。这些发现突显了自主学习不仅可以提高 LLMs 训练的效率和效果，还可以为更先进、自主的人工智能系统的发展铺平道路。

Jun, 2024

通过引入语义解码的概念，将 LMMs、语义令牌、语义处理器和优化过程联系起来，从而在意义空间中进行搜索和优化，提供了一种直接在有意义的概念空间中进行搜索和优化的强大抽象。

Mar, 2024