Aug, 2024

LUT张量核心：查找表实现高效低比特大语言模型推理加速

HTML
PDF
TL;DR本研究解决了低比特大语言模型推理中混合精度矩阵乘法（mpGEMM）需求的问题，提出了一种基于查找表（LUT）的方法。通过优化的软件硬件协同设计—LUT张量核心，不仅改进了表的预计算和存储效率，还显著提升了计算密度和能效，为低比特LMM的执行提供了强有力的支持。
发现论文，激发创造
  • DeepGEMM: 使用查找表在 CPU 结构上加速的超低精度推断

    通过建立查找表并在推理时高效地访问它们，DeepGEMM可以在SIMD硬件上执行超低精度卷积神经网络，比现有框架中的对应8位整数核心性能提高了高达1.74倍。

    Apr, 2023

  • 在CPU上高效LLM推断

    本论文提出了一种有效的方法，可以更高效地部署大型语言模型，通过自动INT4纯权重量化流和设计具有高度优化内核的特殊LLM运行时，在CPU上加速LLM推理，展示了该方法对包括Llama2、Llama、GPT-NeoX等流行LLM的普适性，并显示了在CPU上的极高推理效率。

    Nov, 2023

  • 大型语言模型推理的硬件评估框架

    通过LLMCompass硬件评估框架，本研究提出了性能优化和成本效益的硬件设计选择，以实现大规模语言模型的民主化。

    Dec, 2023

  • 基于英特尔GPU的高效LLM推理解决方案

    提议了一种高效的大型语言模型推理解决方案，通过简化模型结构、融合数据移动和逐元素操作、使用段落KV缓存策略等方法降低系统延迟并提高吞吐量，在Intel GPU上相对于标准HuggingFace实现，能够实现高达7倍的令牌延迟降低和27倍的吞吐量提升。

    Dec, 2023

  • 快速：量化感知的交错和无冲突内核用于高效LLM推理

    QUICK是一组新型优化的CUDA内核，用于高效推理量化的大型语言模型。QUICK解决了现有混合精度矩阵乘法内核中的共享内存冲突问题，通过离线交错量化的权重矩阵跳过解量化后的共享内存写回。我们展示了在较大批次上相对于AutoAWQ现有内核的高达1.91倍的加速效果，并在各种NVIDIA GPU设备上相对于代表性LLM模型获得高达1.94倍的吞吐量提升。

    Feb, 2024

  • I-LLM：针对完全量化低位大型语言模型的高效整数推断

    该研究论文通过提出一种新型的整数化后训练量化框架(I-LLM)，解决了大语言模型在部署边缘和云设备上仍需要大量浮点运算的问题。实验证明，I-LLM在保持准确性的前提下，可以以W4A4进行操作，优于其他非整数量化方法。

    May, 2024

  • T-MAC: 通过表查找实现的低位LLM在边缘部署上的CPU复兴

    T-MAC是一种基于查找表（LUT）的创新方法，用于在CPU上进行高效的低位LLM（即量化权重LLM）推断，并且在同时消除乘法和减少加法的要求方面支持mpGEMM。

    Jun, 2024

  • 查找表量化LLM的快速矩阵乘法

    使用FLUTE内核可以提高大型语言模型的推理速度，尤其在权重非均匀、查找表量化的情况下，通过离线重构量化权重矩阵，最小化位操作，并通过向量化和查找表的复制来减轻共享内存带宽限制，可以使FLUTE内核比现有的GEMM内核快2-4倍。

    Jul, 2024

  • 基于GPU张量核心的大型语言模型高效任意精度加速

    该研究解决了大型语言模型在高效推理过程中面临的挑战，尤其是在超低比特量化和内存管理方面的限制。提出了一种新颖的双极INT数据格式和任意精度矩阵乘法方案，显著提升了GPU张量核心的利用率，并通过高效的内存管理系统实现了最大化的执行速度。实验结果表明，该方法在矩阵乘法上可达到高达13倍的加速，并在大型语言模型中实现了高达6.7倍的推理加速。

    Sep, 2024

  • 低资源边缘设备高效服务70B规模大模型的TPI-LLM

    本研究针对边缘设备在执行大规模模型推理时面临的计算能力、内存和带宽限制问题，提出了一种名为TPI-LLM的高效张量并行推理系统。该系统优化了内存调度和通信管理，使得70B规模的模型在内存受限的设备上顺畅运行，显著降低了推理延迟和内存占用。

    Oct, 2024