参考推理:大语言模型的无损加速
我们提出了一种新颖的推理方案,自我推测解码,用于加速大型语言模型(LLMs),无需辅助模型。该方法通过两个阶段的过程来实现:草稿和验证。草稿阶段以稍低质量但更快的速度生成草稿标记,通过在草稿期间选择性跳过某些中间层来实现。然后,验证阶段使用原始 LLM 在一次前向传递中验证那些草稿输出标记。该过程确保最终输出与未经修改的 LLM 产生的输出完全相同,从而保持输出质量。所提出的方法不需要额外的神经网络训练和额外的内存占用,是一种即插即用和经济高效的推理加速解决方案。与 LLaMA-2 及其微调模型的基准测试表明,加速比最高可达 1.73 倍。
Sep, 2023
通过引入针对大型语言模型(LLMs)的查询感知推理(Q-LLM)系统,我们解决了在序列中捕捉长距离依赖以实现深层语义理解的问题,并且在 LLaMA3 和 Mistral 基准上得到了显著的性能提升。
Jun, 2024
大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题,本文对提高大规模语言模型推理效率的现有技术文献进行了综述,介绍了数据层、模型层和系统层优化的方法,并通过实验进行了定量分析,最后总结了相关知识,并探讨了未来研究方向。
Apr, 2024
本研究引入了基于锚点的 LLM (AnLLM) 模型,该模型利用了一种创新的基于锚点的自注意力网络 (AnSAN) 和一种基于锚点的推理策略,将序列信息压缩到锚点令牌中,从而减少键 / 值缓存并提高推理效率。实验证明,AnLLM 在保持可比精度的同时缩减了 99% 的键 / 值缓存,并实现了高达 3.5 倍的更快推理速度。尽管在精度上有轻微折衷,AnLLM 在计算效率和资源利用方面具有显著改善,展示了锚点式注意力方法在实际应用中对于实时推理的潜力。
Feb, 2024
本研究评估大型语言模型对于自动无参考翻译评估的有效性,并通过模拟人类直接评估的实验来评估英语和印度语言译文的质量。通过构建一个翻译评估任务,我们进行了零样本学习、上下文示例驱动学习和大型语言模型微调,从而提供了一个 0 到 100 的分数,其中 100 表示完美的翻译,1 表示糟糕的翻译。我们将经过训练的系统与现有方法(如 COMET、BERT-Scorer 和 LABSE)进行比较,发现基于大型语言模型的评估器(LLaMA-2-13B)在考虑的印度语言对上实现了相当或更高的整体相关性与人类判断。
Apr, 2024
提出了一种新方法,即无损压缩记忆关注(LoMA)方法,可以根据一组压缩比将信息无损地压缩到特殊记忆令牌 KV 对中,实现资源消耗的减少,并取得了显著的结果。
Jan, 2024
通过在 MLLMs 中应用推测解码,特别是 LLaVA 7B,我们展示了一个仅语言模型可以作为推测解码的优秀起草模型,绕过了起草模型中图像令牌和其相关处理组件的需求。我们的实验证明,推测解码可以在三个不同任务中实现高达 2.37 倍的内存速度提升,使用的是我们从头开始训练的 115M 参数语言模型。此外,我们还引入了一个紧凑的 LLaVA 起草模型,其中包含图像适配器,在图像字幕生成方面表现出边际性能增益,并在其他任务中保持可比较的结果。
Apr, 2024
通过引入轻量级的草稿模型,Chimera 提出了一种用于投机采样的新型框架,以有效利用先前生成的令牌来预测后续单词,显著提高了大型语言模型在解码过程中的效率。
Feb, 2024