AIGC 推理性能优化竞赛解决方案

Jul, 2024

The Solution for the AIGC Inference Performance Optimization Competition

Sishun Pan, Haonan Xu, Zhonghua Wan, Yang Yang

TL;DR本文重点优化Ernie模型的高性能推理，强调GPU加速和Paddle推理框架的利用，运用Faster Transformer、嵌入层剪枝和FP16半精度推理等技术优化模型处理，同时结合多进程并行处理等高效数据处理策略以最小化延迟；实验结果表明，我们的优化解决方案推理速度相较于标准方法提高了8.96倍，同时保持了竞争性能。

Abstract

In recent years, the rapid advancement of large-scale pre-trained language models based on transformer architectures has revolutionized natural language processing tasks. Among these, →

发现论文，激发创造

自回归Transformer API推理效率度量的廉价评估

介绍了一种新的度量模型推理效率的metric理想运行时间（idealized runtime），对自回归Transformer模型进行了高效的估计。使用这些方法，作者对十种最先进的LLM进行了比较，并提出了多项结论，包括一些API的推理效率超过其他模型的原因是由于API中的优化措施而不是所使用的模型本身。

May, 2023

大语言模型快速分布式推理服务

FastServe是一种分布式推理服务系统，利用预emption技术在输出单词级别上最小化了Large language models的inference时间，并采用GPU内存管理机制，与现有解决方案相比可将平均和tail JCT分别提高了5.1倍和6.4倍。

May, 2023

从文字到瓦特：大型语言模型推理的能源成本基准测试

大型语言模型（LLMs）的计算和能源资源利用的推理性能进行了基准测试和初步分析，分析了不同规模的LLMa在两代热门GPU（NVIDIA V100和A100）以及两个数据集（Alpaca和GSM8K）上的推理性能与推理能源成本。

Oct, 2023

大型语言模型在新型人工智能加速器上的全面性能研究

研究了大型语言模型在多个人工智能加速器和图形处理器上的性能特性，并评估了这些模型的性能，考虑到序列长度、扩展行为、稀疏性和梯度积累步骤的敏感性。

Oct, 2023

理解基于FPGA的空间加速对大型语言模型推理的潜力

通过对大型语言模型的空间加速进行研究，本文介绍了针对特定运算符或层的硬件单元专门化的方法，并通过数据流架构实现它们之间的直接通信，从而最小化片外内存访问延迟。研究通过在AMD Alveo U280 FPGA设备上实现BERT和GPT2模型，实验结果表明相较于之前的FPGA加速器，在BERT模型方面可以实现16.1倍的加速，在GPT生成推理方面，在前置阶段相较于DFX，一个FPGA叠加层，在解码阶段相较于NVIDIA A100 GPU，分别实现2.2倍的加速和5.7倍的能效提升。

Dec, 2023

Fiddler: 快速推断混合专家模型的CPU-GPU编排

Fiddler 是一种资源高效的推理引擎，基于 CPU-GPU 协同工作模式用于 Mixture-of-Experts 模型，可以在资源有限的设置中，在单一GPU上运行未压缩的 Mixtral-8x7B 模型，其参数超过 90GB，每秒生成超过3个标记，相较于现有方法获得数量级的提升。

Feb, 2024

边缘智能优化大型语言模型推断——批处理和量化

通过部署批处理技术和资源有限的边缘设备上的模型量化，我们在此论文中提出了一种针对基于Transformer解码器的大语言模型推断的边缘智能优化问题，旨在通过批处理调度和通信、计算资源的联合分配来最大化推断吞吐量，同时考虑边缘资源约束和不同用户对延迟和准确性的需求。为了解决这个NP-hard问题，我们开发了一种在可行时间复杂度内运行的带有在线树剪枝的最优深度优先搜索算法（DFTSP）。模拟结果表明，DFTSP在各种用户设置和量化技术中超越了其他批处理基准，并且与蛮力搜索方法相比，它的时间复杂度降低了45%以上。

May, 2024

在CPU上加速大型语言模型的推断

利用CPU加速大型语言模型推理的并行化方法提高吞吐量，通过利用现代CPU体系结构的并行处理能力和批处理推理请求，与多个工作程序在同一设备上运行以进行更多的吞吐量改进，可以减少LLM的功耗约48.9％，并提供具备生产环境的吞吐量和延迟。

Mar, 2024

关于在CPU上对大型语言模型进行推断性能优化的研究

该研究介绍了一种在CPU上加速大型语言模型的易于部署推理性能优化解决方案，并针对常用模型进行了定制优化。

Jul, 2024

AI加速器上基础模型的推理优化

Transformer架构的大型语言模型和AI加速器的推断优化技术在生成式人工智能中扮演重要角色，并讨论了系统优化、关注力计算和模型压缩等方面的技术。

Jul, 2024