Jun, 2024

PowerInfer-2：智能手机上快速的大型语言模型推断

PDF
TL;DRPowerInfer-2 是一个为智能手机上的大型语言模型（LLM）进行高速推断而设计的框架，通过将传统的矩阵计算分解为细粒度的神经元集群计算，利用智能手机中的异构计算、内存和 I/O 资源，实现了多样的计算策略，减少了 I/O 操作带来的开销。在两部智能手机上的实现和评估表明，相比于现有的框架，PowerInfer-2 实现了高达 29.2 倍的速度提升，并且是第一个在智能手机上具有 11.68 tokens 每秒生成速率的 TurboSparse-Mixtral-47B 模型服务的系统。对于完全适合内存的模型，PowerInfer-2 可以实现大约 40% 的内存使用减少，并且维持与 llama.cpp 和 MLC-LLM 相当的推断速度。
powerinfer-2large language modelshigh-speed inferenceheterogeneous computationneuron cluster computations
发现论文，激发创造
  • PowerInfer：在消费级 GPU 上快速提供大型语言模型服务

    PowerInfer 是一个高速的 GPU-CPU 混合推理引擎，利用大型语言模型 (LLM) 推理中固有的高局部性，并通过预加载热激活的神经元到 GPU 以快速访问、在 CPU 上计算冷激活的神经元，从而显著降低 GPU 内存需求和 CPU-GPU 数据传输，并且通过自适应预测器和神经元感知稀疏操作进一步优化神经元激活和计算稀疏性，评估结果显示，在单个 NVIDIA RTX 4090 GPU 上，PowerInfer 在各种 LLM (包括 OPT-175B) 上实现了平均 13.20 令牌 / 秒的生成速率，峰值为 29.08 令牌 / 秒，仅比顶级服务器级 A100 GPU 低 18%，相比于 llama.cpp 最大提升了 11.69 倍，仍保持着模型精度。

    Dec, 2023

  • 一个量化的大型语言模型在各种智能手机上的性能评估

    本研究探讨在各种苹果 iPhone 型号上进行设备内大型语言模型 (LLM) 推理的可行性和性能。通过对运行在有限资源设备上的数十亿参数的 LLM 的现有文献进行利用，我们的研究考察了高性能 LLM 在不同智能手机世代上的热效应和交互速度。通过提供实际性能结果，我们提供了关于设备内推理能力的见解。

    Dec, 2023

  • Transformer-Lite: 在手机 GPU 上高效部署大型语言模型

    为了在移动设备上高效部署大型语言模型，我们提出了四种优化技术：基于符号表达式的动态模型推断，操作符优化和执行优先级设置，FP4 量化方法以减少反量化开销，以及基于子张量的技术以消除 LLM 推断后的缓存拷贝需求，并利用这些方法实现了移动推断引擎 Transformer-Lite。与 CPU 和 GPU 的其他引擎相比，我们的引擎在填充速度上实现了超过 10 倍的加速，并在解码速度上实现了 2~3 倍的加速。

    Mar, 2024

  • LLM 闪电般的运算：利用有限内存高效推理的大型语言模型

    本研究旨在通过使用闪存将模型参数存储在 DRAM 之外，以满足超过 DRAM 容量的大型语言模型（LLMs）的高效运行需求。本文提出了两种主要技术，即通过重新使用已激活的神经元来减少数据传输的 “窗口化” 与利用闪存的顺序数据访问能力来增加数据块大小的 “行列捆绑”。这些方法使得模型能够在可用 DRAM 容量的两倍大小的情况下运行，并在与传统加载方法相比，CPU 和 GPU 分别实现 4-5 倍和 20-25 倍的推理速度提升。本研究通过结合稀疏感知、上下文自适应加载和面向硬件的设计，为在内存有限的设备上进行有效的 LLMs 推理铺平了道路。

    Dec, 2023

  • 利用 MLLM-NPU 设备进行每秒 1000 标记的本地语言模型填充

    通过引入第一款有效利用设备上神经处理单元（NPU）的 LLM 推理系统 mllm-NPU，该系统能够在设备上实现实用的大型语言模型，并在预填充阶段实现比竞争基准快 22.4 倍的速度和 30.7 倍的节能，为亿级模型（Qwen1.5-1.8B）实现每秒超过 1,000 个令牌的预填充，为实用的设备上 LLM 开辟了新的道路。

    Jul, 2024

  • Inferflow：一个高效和高度可配置的大语言模型推理引擎

    Inferflow 是一个有效且高度可配置的推理引擎，适用于大规模语言模型（LLMs）。通过修改相关配置文件中的几行代码，用户可以简单地为大多数常见的 Transformer 模型提供服务，而无需编写源代码。相比其他推理引擎，Inferflow 具有一些关键特性：首先，通过实现原子建模块和技术的模块化框架，Inferflow 可以普遍适用于新模型；其次，引入了 3.5 位量化作为 3 位量化和 4 位量化之间的折中；第三，Inferflow 引入了混合模型分区以进行多 GPU 推理，以更好地平衡推理速度和吞吐量，超过了现有的按层分区和按张量分区策略。

    Jan, 2024

  • 从文字到瓦特：大型语言模型推理的能源成本基准测试

    大型语言模型（LLMs）的计算和能源资源利用的推理性能进行了基准测试和初步分析，分析了不同规模的 LLMa 在两代热门 GPU（NVIDIA V100 和 A100）以及两个数据集（Alpaca 和 GSM8K）上的推理性能与推理能源成本。

    Oct, 2023

  • 一款高效稀疏推断软件加速器，用于基于转换器的语言模型在 CPU 上

    本论文提出了一种基于定常块大小的高效稀疏深度学习推断软件堆栈，可以将稀疏加速器应用于 Transformer-based 语言模型，我们的稀疏加速器在处理各种 GEMM 形状时，比现有的稀疏库快一个数量级，在 Xeon 上具有高效的性能。

    Jun, 2023

  • LinguaLinked：移动设备上的分布式大型语言模型推理系统

    LinguaLinked 是一种分散、分布式的移动设备上的 LLM 推理系统，它通过优化模型分配、优化数据传输机制和运行时负载平衡器来提高系统的效率和响应速度。

    Dec, 2023

  • 低延迟大型语言模型的 LiveMind：具有同时推理的特性

    本文介绍了一种用于大型语言模型（LLMs）的新型低延迟推断框架，使 LLMs 能够使用不完整的提示进行推断，并通过重新分配计算过程到提示输入阶段，实现了大幅度的延迟降低，从而显著提高用户与 LLMs 的交互体验。该框架灵活地管理模型对流式提示的可见性，允许它从不完整的提示中进行推断或等待附加提示。与使用完整提示的传统推断方法相比，我们的方法在 MMLU-Pro 数据集上表现出平均响应延迟减少 59％，同时保持相当的准确性。此外，我们的框架促进了不同模型之间的协同推断和输出。通过使用 LLM 进行推断和使用小型语言模型（SLM）进行输出，与 SLM 基线相比，我们在 MMLU-Pro 数据集上实现了平均响应延迟减少 68％，准确性提高了 5.5％。对于超过 20 个句子的长提示，响应延迟可以降低高达 93％。

    Jun, 2024