Apr, 2024

FFN-SkipLLM：自适应前馈跳过的自回归解码中的隐藏宝石

PDF
TL;DR通过使用 FFN-SkipLLM 方法，可以减少 FFN 块数量来提高自回归解码速度，并在知识密集型生成任务上保持较好性能。
autoregressive large language modelsearly-exit strategieslayer-dropping strategiesgeneration collapseffn-skipllm
发现论文，激发创造
  • SkipDecode: 自回归跳过解码与批处理和缓存的高效 LLM 推理

    通过 SkipDecode 方法在批处理推理和 KV 缓存优化技术的直接兼容性下，实现大语言模型的速度提升 2 倍至 5 倍，同时保持很小的回归，解决了提前终止计算的先前工作中存在的限制。

    Jul, 2023

  • 自动生成巨大，快速生成：快速自回归解码的 LLM-to-SLM

    我们提出了一种混合方法，结合不同规模的语言模型以提高自回归解码的效率，同时保持高性能。该方法利用一个预先训练的冻结语言模型来编码所有提示标记，然后使用生成的表示来引导一个较小的语言模型来更高效地生成响应。与 LLM 相比，我们的方法在翻译和摘要任务中实现了高达 4 倍的速度提升，但只有 1-2% 的性能损失。

    Feb, 2024

  • 高效级联跳跃解码的自回归文本生成

    通过提出一种名为分级跳跃解码（HSD）的新型解码策略，我们可以减少计算工作量和分配计算资源，从而在效率和文本质量之间取得平衡，实验证明 HSD 在文本生成任务中具有优势。

    Mar, 2024

  • 层级跳过：在推断中实现早期退出和自我推测解码

    通过应用层丢弃和早期退出损失的训练技术，在推理过程中加快大型语言模型的速度，并推出了一种新颖的自我推测编码解决方案，该解决方案减少了内存占用，并在不同训练任务上实现了高达 2.16 倍的加速。

    Apr, 2024

  • 在高效基础上构建：利用结构化前馈层有效训练 LLMs

    通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。

    Jun, 2024

  • 大词汇连续语音识别的深度 FSMN

    本文介绍了改进的前馈顺序记忆网络 DFSMN 结构，通过在相邻层的记忆块之间引入跳过连接以启用跨不同层的信息流，并消除了建立非常深层结构时的梯度消失问题。在多个大型语音识别任务中，DFSMN 的性能优于 BLSTM，尤其是使用 CD-Phone 作为建模单元和较低帧率（LFR）进行训练时，DFSMN 的改进更为显著。此外，DFSMN 的记忆块的前瞻滤波器可以轻松地设计，以控制实时应用的延迟。

    Mar, 2018

  • 利用前瞻解码打破 LLM 推断的顺序依赖性

    使用准确并行的预读解码算法加速大型语言模型的自回归解码，从而减少总解码步骤，提高解码速度并充分发挥现代加速器的并行处理能力。

    Feb, 2024

  • 利用统一的层跳过策略加速大型语言模型的推理

    提出了一种统一的层跳过策略，通过选择要跳过的层数来达到目标加速比，从而显著提升了推理性能和实际模型吞吐量。

    Apr, 2024

  • 大型语言模型预训练中稀疏前馈网络的统一视角

    本文分析了 S-FFN 这种大而稀疏的前馈网络的两个主要设计选择：内存块（或专家）大小和内存块选择方法，并提供了它们相对有效性和效率的见解。在语言建模前训练中，我们发现一种更简单的选择方法 ——Avg-K，通过均值聚合隐藏状态选择块，可以比现有的 MoE 架构实现更低的困惑度。

    May, 2023

  • 大型语言模型中的加速生成技术综述

    这篇论文综述了大型语言模型中加速文本生成的关键技术，包括推测解码、提前退出机制和非自回归方法，并对它们的原理、优势、限制和最新进展进行了讨论，旨在为自然语言处理领域的未来研究方向提供指导。

    May, 2024