Dec, 2023

理解基于 FPGA 的空间加速对大型语言模型推理的潜力

PDF
TL;DR通过对大型语言模型的空间加速进行研究，本文介绍了针对特定运算符或层的硬件单元专门化的方法，并通过数据流架构实现它们之间的直接通信，从而最小化片外内存访问延迟。研究通过在 AMD Alveo U280 FPGA 设备上实现 BERT 和 GPT2 模型，实验结果表明相较于之前的 FPGA 加速器，在 BERT 模型方面可以实现 16.1 倍的加速，在 GPT 生成推理方面，在前置阶段相较于 DFX，一个 FPGA 叠加层，在解码阶段相较于 NVIDIA A100 GPU，分别实现 2.2 倍的加速和 5.7 倍的能效提升。
large language modelsfpga-based accelerationspatial accelerationperformance estimationhigh-level synthesis
发现论文，激发创造
  • FlightLLM: 基于 FPGA 的高效大型语言模型推断及其完整映射流程

    该研究论文提出了一种基于 FPGA 的 FlightLLM 方法，通过利用 FPGA 特定资源和创新解决方案，实现了大规模语言模型（LLMs）的高效推理，包括压缩技术、计算效率、内存带宽和编译开销等方面的优化。在实验中，该方法在 Xilinx Alveo U280 FPGA 上实现了高达 6.0 倍的能效提升和 1.8 倍的成本效益，同时在吞吐量方面也超过了 NVIDIA A100 GPU。

    Jan, 2024

  • 大型语言模型的硬件加速器调查

    该研究综述了与优化大型语言模型性能和能源效率相关的硬件加速器，涵盖了多种加速器的体系结构、性能指标和能源效率考虑，并为研究人员、工程师和决策者在现实应用中优化大型语言模型的部署提供了有价值的见解。

    Jan, 2024

  • 基于英特尔 GPU 的高效 LLM 推理解决方案

    提议了一种高效的大型语言模型推理解决方案，通过简化模型结构、融合数据移动和逐元素操作、使用段落 KV 缓存策略等方法降低系统延迟并提高吞吐量，在 Intel GPU 上相对于标准 HuggingFace 实现，能够实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。

    Dec, 2023

  • 边缘智能优化大型语言模型推断 —— 批处理和量化

    通过部署批处理技术和资源有限的边缘设备上的模型量化，我们在此论文中提出了一种针对基于 Transformer 解码器的大语言模型推断的边缘智能优化问题，旨在通过批处理调度和通信、计算资源的联合分配来最大化推断吞吐量，同时考虑边缘资源约束和不同用户对延迟和准确性的需求。为了解决这个 NP-hard 问题，我们开发了一种在可行时间复杂度内运行的带有在线树剪枝的最优深度优先搜索算法（DFTSP）。模拟结果表明，DFTSP 在各种用户设置和量化技术中超越了其他批处理基准，并且与蛮力搜索方法相比，它的时间复杂度降低了 45% 以上。

    May, 2024

  • N3H-Core: 神经元设计的基于 FPGA 的异构计算核心神经网络加速器

    本文介绍了一种 FPGA 加速神经网络评估的异构计算系统，通过利用 DSP 和 LUT 的不同资源优势进行计算。作者运用强化学习算法对系统进行优化，使得该系统在减少延迟的同时提高了精度表现。

    Dec, 2021

  • 基于 FPGA 的深度神经网络在粒子物理中的快速推断

    介绍了基于 FPGA 进行神经网络推理的案例研究，其使用高级综合技术（HLS）构建机器学习模型，旨在为粒子物理学的高速实时事件处理提供支持，适用于很多场合，如寻找新的暗扇区粒子和测量希格斯玻色子等。

    Apr, 2018

  • 大型语言模型在新型人工智能加速器上的全面性能研究

    研究了大型语言模型在多个人工智能加速器和图形处理器上的性能特性，并评估了这些模型的性能，考虑到序列长度、扩展行为、稀疏性和梯度积累步骤的敏感性。

    Oct, 2023

  • LLM 加速、优化和应用的新解决方案

    该研究综述了针对大型语言模型（LLMs）的挑战以及提高系统效率的最新进展和研究方向，包括算法级加速技术、LLM 硬件与软件协同设计策略、LLMs 加速器编译方法以及利用 LLMs 辅助电路设计的方法。通过这些工作，旨在为 LLMs 在各种应用中实现更高效、可扩展的部署铺平道路。

    Jun, 2024

  • 高效译码的投机流水线执行

    通过使用预测值，基于 Transformer 架构的生成式大型语言模型 (SPEED) 能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

    Oct, 2023

  • 在 Xilinx FPGA 上实现深度循环神经网络语言模型

    本论文研究了如何在单个 FPGA 平台上利用硬件加速器和 PYNQ 来实现 DRNN 语言模型加速，实验结果显示，在 PYNQ 板上 Overlay 加速器的 AXI Stream 接口性能为 20 GOPS，相较 Ref.30 和 Ref.31 的工作分别提高了 70.5 倍和 2.75 倍。

    Oct, 2017