Aug, 2024

超参数对大型语言模型推理性能的影响：vLLM和HuggingFace管道的评估

HTML
PDF
TL;DR本研究解决了大型语言模型推理性能中的超参数优化问题，通过分析20个大型语言模型在vLLM和HuggingFace管道中的表现。研究发现，超参数对推理吞吐量有显著影响，优化超参数可提升HuggingFace管道的吞吐量，平均分别提高9.16%和13.7%。
发现论文，激发创造
  • SqueezeLLM：紧密稀疏量化

    通过引入SqueezeLLM后训练的量化框架，该框架不仅实现了高达3位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。

    Jun, 2023

  • 从文字到瓦特：大型语言模型推理的能源成本基准测试

    大型语言模型（LLMs）的计算和能源资源利用的推理性能进行了基准测试和初步分析，分析了不同规模的LLMa在两代热门GPU（NVIDIA V100和A100）以及两个数据集（Alpaca和GSM8K）上的推理性能与推理能源成本。

    Oct, 2023

  • 在CPU上高效LLM推断

    本论文提出了一种有效的方法，可以更高效地部署大型语言模型，通过自动INT4纯权重量化流和设计具有高度优化内核的特殊LLM运行时，在CPU上加速LLM推理，展示了该方法对包括Llama2、Llama、GPT-NeoX等流行LLM的普适性，并显示了在CPU上的极高推理效率。

    Nov, 2023

  • 大型语言模型的训练、微调和推理的运行时性能剖析

    通过针对大型语言模型的预训练、微调和运行时性能进行细致的分析和基准测试，本研究旨在为用户和研究人员提供对于配置选择以及优化性能的不同方法、框架和硬件平台的理解。

    Nov, 2023

  • 大型语言模型推理的硬件评估框架

    通过LLMCompass硬件评估框架，本研究提出了性能优化和成本效益的硬件设计选择，以实现大规模语言模型的民主化。

    Dec, 2023

  • 基于英特尔GPU的高效LLM推理解决方案

    提议了一种高效的大型语言模型推理解决方案，通过简化模型结构、融合数据移动和逐元素操作、使用段落KV缓存策略等方法降低系统延迟并提高吞吐量，在Intel GPU上相对于标准HuggingFace实现，能够实现高达7倍的令牌延迟降低和27倍的吞吐量提升。

    Dec, 2023

  • 大型语言模型的推理效率从粗粒度到细粒度评估

    通过对各种代码库的推理性能进行粗细的分析，本研究提供了研究人员评估代码库和改进推理策略的宝贵综合结果。

    Apr, 2024

  • Vidur：一个用于LLM推理的大规模模拟框架

    优化大型语言模型（LLM）的部署非常昂贵，本文介绍了一种模拟框架Vidur，通过实验和预测模型评估LLM的性能以及寻找最佳配置来降低成本。

    May, 2024

  • 关于在CPU上对大型语言模型进行推断性能优化的研究

    该研究介绍了一种在CPU上加速大型语言模型的易于部署推理性能优化解决方案，并针对常用模型进行了定制优化。

    Jul, 2024

  • 动态LLM：为性能和能效设计LLM推理集群

    本研究针对生成式大语言模型（LLM）推理集群面临的高能耗和碳排放问题，提出了DynamoLLM框架，以实现能效优化。通过动态重新配置推理集群，DynamoLLM在满足服务级别目标的同时，实现了53%的能源节省和38%的运营碳排放减少，使客户成本降低61%。

    Aug, 2024