LookupFFN: 让 Transformer 在 CPU 推理中计算更轻巧

ICMLMar, 2024

LookupFFN: 让 Transformer 在 CPU 推理中计算更轻巧

LookupFFN: Making Transformers Compute-lite for CPU inference

Zhanpeng Zeng, Michael Davies, Pranav Pulijala, Karthikeyan Sankaralingam, Vikas Singh

TL;DR通过研究 GEMM 基于前馈网络（FFN）的模块，我们提出了一种替代方案（称之为 LookupFFN），将大多数关键操作转化为内存查找，以减少所需的 FLOP，从而在 RoBERTa 语言模型预训练中实现类似性能。

Abstract

While gpu clusters are the de facto choice for training large deep neural network (DNN) models today, several reasons including ease of workflow, security and cost have led to efforts investigating whether CPUs may be viable for inference in routine use in many sectors of the industry.

gpu clusters cpu inference deep neural networks compute capabilities gemm based feed forward networks

发现论文，激发创造

DeepGEMM: 使用查找表在 CPU 结构上加速的超低精度推断

通过建立查找表并在推理时高效地访问它们，DeepGEMM 可以在 SIMD 硬件上执行超低精度卷积神经网络，比现有框架中的对应 8 位整数核心性能提高了高达 1.74 倍。

Apr, 2023

FFSplit：一种用于优化语言模型推理精度和效率权衡的分割前馈网络

优化预训练语言模型（PLM）在商用硬件上的部署，通过模型压缩技术提高效率，将 Feed-forward 网络划分为两部分以提高已有压缩方法的效果，并取得了可观的模型尺寸减小和推理速度提升的效果。

Jan, 2024

在高效基础上构建：利用结构化前馈层有效训练 LLMs

通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。

Jun, 2024

FlashDecoding++: 在 GPU 上更快的大型语言模型推理

FlashDecoding++ 是支持主流 LLM 和硬件后端的快速 LLM 推理引擎，通过引入异步 softmax、平坦 GEMM 优化和启发式数据流等技术，相较于 Hugging Face 实现，在 NVIDIA 和 AMD GPU 上实现了最高 4.86 倍和 2.18 倍的加速，在主流 LLMs 上平均实现了 1.37 倍的速度提升。

Nov, 2023

Look-Up mAI GeMM: 通过 msGeMM 将 AI GeMMs 性能提升近 2.5 倍

该论文介绍了一种名为 msGeMM 的新算法，该算法表明低精度数据类型的 AI 模型可以在更少的乘法和加法指令的情况下运行，要求 CUDA 核心具有与 Tensor Cores 相同的能力来从小的查找表中添加元素。

Oct, 2023

基于英特尔 GPU 的高效 LLM 推理解决方案

提议了一种高效的大型语言模型推理解决方案，通过简化模型结构、融合数据移动和逐元素操作、使用段落 KV 缓存策略等方法降低系统延迟并提高吞吐量，在 Intel GPU 上相对于标准 HuggingFace 实现，能够实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。

Dec, 2023

Transformer-Lite: 在手机 GPU 上高效部署大型语言模型

为了在移动设备上高效部署大型语言模型，我们提出了四种优化技术：基于符号表达式的动态模型推断，操作符优化和执行优先级设置，FP4 量化方法以减少反量化开销，以及基于子张量的技术以消除 LLM 推断后的缓存拷贝需求，并利用这些方法实现了移动推断引擎 Transformer-Lite。与 CPU 和 GPU 的其他引擎相比，我们的引擎在填充速度上实现了超过 10 倍的加速，并在解码速度上实现了 2~3 倍的加速。

Mar, 2024

Transformer 推理的全栈优化：一项调查

本文调查了提高 Transformer 模型推理效率的不同方法，包括分析现有模型架构的瓶颈和硬件设计的影响，调度操作的挑战，以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后，作者将这些方法应用于一个开源的全栈 DNN 加速器生成器中，并表明这些方法都可以对提高模型推理速度产生影响，其中最优的全栈设计方法可以将速度提高多达 88.7 倍，同时性能基本不受损害

Feb, 2023

快速前馈网络

我们介绍了快速前馈（FFF）架构，它打破了层大小与推理成本之间的线性关系，通过引入对数时间的前馈网络的替代方案。我们展示了 FFF 在推理成本的指数分数上表现出与前馈网络相当的性能，与专家混合网络相比更快地提供性能，并且可以在 transformers 中取代它们。将 FFF 推到极限，我们训练了一个视觉 transformer，在只有 5.8% 性能下降的成本下执行单神经元推理。我们的实现可作为 Python 包使用，只需运行 “pip install fastfeedforward” 即可。

Aug, 2023

TFLMS：TensorFlow 中的图重写大模型支持

本研究提出了一种解决深层神经网络在内存不足的情况下训练的方法，通过在计算图中插入 swap-out 和 swap-in 操作暂时将中间结果存储到 CPU 内存中，实现了较大规模深层神经网络的训练，并通过 TFLMS 模块发布到 TensorFlow 仓库，成功训练了 ResNet-50 和 3DUnet。

Jul, 2018