Feb, 2024

自适应骨架图解码

PDF
TL;DR我们提出了骨架图解码（SGD）方法，利用子问题之间的依赖关系支持信息传递，从而在提高质量的同时暴露出解码独立子问题的并行化机会，通过为每个子问题选择合适大小的模型来提高性能并减少质量损失，相对于标准自回归生成和 Skeleton-of-Thought (SoT) 方法，SGD 实现了 1.69 倍加速，同时提高了 51% 的质量。
large language modelsinferenceparallel decoding strategiesskeleton graph decodingquality improvement
发现论文，激发创造
  • 思维骨架：大型语言模型能够进行并行解码

    该研究旨在降低大型语言模型（LLMs）的端到端生成延迟，通过提出 “思维骨架”（SoT），该方法通过引导 LLMs 先生成答案的骨架，然后采用并行 API 调用或批量解码来同时完成每个骨架点的内容，从而显著提高速度（在 11 个不同的 LLMs 中高达 2.39 倍），在多个问题类别上潜在地提高答案的多样性和相关性。SoT 是一种以数据为中心的优化方法，展示了提升 LLMs 以更像人类思考的方式来提高答案质量的潜力。

    Jul, 2023

  • S2D：排序的推测解码，用于更高效部署嵌套大型语言模型

    部署异步大型语言模型（LLMs）的代价高昂，为了减少成本，本文介绍了一种新的多目标场景的 Draft 模型部署方法，并提出了一种更高效的排序 Speculative Decoding 机制，该方法在多目标环境下优于基线模型。

    Jul, 2024

  • 自动生成巨大，快速生成：快速自回归解码的 LLM-to-SLM

    我们提出了一种混合方法，结合不同规模的语言模型以提高自回归解码的效率，同时保持高性能。该方法利用一个预先训练的冻结语言模型来编码所有提示标记，然后使用生成的表示来引导一个较小的语言模型来更高效地生成响应。与 LLM 相比，我们的方法在翻译和摘要任务中实现了高达 4 倍的速度提升，但只有 1-2% 的性能损失。

    Feb, 2024

  • 小语言模型微调以协调更大的语言模型，提升复杂推理

    引入 DaSLaM，使用分解生成器将复杂问题分解为需要更少推理步骤的子问题，由求解器回答。我们的方法在多个不同推理数据集上进行评估，表明 1750 亿参数 LM（text-davinci-003）可以产生与规模更大的 GPT-4 相比具有竞争力甚至更好的性能。

    Oct, 2023

  • 带有动态图卷积解码器的神经机器翻译

    本文提出了一种从结构输入到结构输出的端到端翻译架构，其中联合建模和生成目标翻译及其相应的句法图。我们设计了一个自适应动态时空图卷积解码器（Dyn-STGCD），它可以消费源功能表示及其句法图，并同时自回归生成目标句法图和令牌。我们在五个广泛认可的翻译基准测试中进行了大量实验，验证了我们的提议相对于基线和其他语法感知变体的一致改进。

    May, 2023

  • 基于草图引导的有限制解码方法，用于增强黑盒大型语言模型的性能而无需访问逻辑层

    该论文介绍了一种名为 sketch-guided constrained decoding (SGCD) 的新型黑盒大型语言模型的约束解码方法，利用本地辅助模型改善未约束的黑盒大型语言模型的输出，使其作为进一步详细描述的 “草图”，从而在无完全透明度的情况下扩展了约束解码的应用，通过在封闭信息提取和组成解析等实验中展示了 SGCD 的有效性，展示了它如何增强黑盒大型语言模型在复杂自然语言处理任务中的效用和灵活性。

    Jan, 2024

  • 采用图表示法导航，快速可扩展解码神经语言模型

    提出一种名为 Fast Graph Decoder (FGD) 的 softmax layer 近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线准确率，在神经机器翻译和语言建模任务上证明了其有效性，同时也证明了其理论保证。

    Jun, 2018

  • SDSAT：通过语义自适应标记的推理进行推测解码的加速

    通过引入具有语义自适应能力的令牌，提出一种用于大型语言模型（LLM）的加速方案（SDSAT）。该方案通过细调模型和使用训练方法，以及使用新的生成策略，能够在不影响模型准确性的情况下，提高模型生成草稿令牌的准确性，并且在 CodeLlama-13B 和 7B 模型上实验，分别获得了超过 3.5X 和 3.0X 的加速效果。

    Mar, 2024

  • 投机的对比解码

    通过对大型语言模型进行推测性对比解码，提高了生成质量的同时节省了计算资源。

    Nov, 2023

  • 骨架图自注意力：将骨骼归纳偏差嵌入手语生成中

    本文提出了一种将手语序列表示为包含节点和边的骨骼图结构，并运用 Skeletal Graph Self-Attention（SGSA）方法实现手语的流畅和表达，该方法在 RWTH-PHOENIX-Weather-2014T 数据集上展现出比其它竞争方法更强的后向翻译表现。

    Dec, 2021