Nov, 2023

大型语言模型的训练、微调和推理的运行时性能剖析

PDF
TL;DR通过针对大型语言模型的预训练、微调和运行时性能进行细致的分析和基准测试，本研究旨在为用户和研究人员提供对于配置选择以及优化性能的不同方法、框架和硬件平台的理解。
发现论文，激发创造
  • 从文字到瓦特：大型语言模型推理的能源成本基准测试

    大型语言模型（LLMs）的计算和能源资源利用的推理性能进行了基准测试和初步分析，分析了不同规模的 LLMa 在两代热门 GPU（NVIDIA V100 和 A100）以及两个数据集（Alpaca 和 GSM8K）上的推理性能与推理能源成本。

    Oct, 2023

  • 互联网上大规模语言模型的分布式推理和微调

    本研究探讨了大型语言模型在成本高效的推理和微调方面的方法，并比较了本地和分布式策略。我们开发了特殊的容错推理算法和负载平衡协议，用于自动分配设备以最大化系统总吞吐量，并展示了这些算法在 Petals 中的应用，该分散式系统能够以比离线处理快 10 倍的速度运行大型语言模型。我们通过模拟条件和跨越两大洲的真实场景对系统性能进行了评估。

    Dec, 2023

  • FinGPT-HPC: 高性能计算在金融应用中高效地预训练和微调大型语言模型

    通过利用低秩结构以及量化参数，本论文提出了一种高性能的基于 GPU 的方法用于预训练和微调大型语言模型，以实现金融应用，并取得了较快的速度和高模型压缩比，同时保持了很高的准确率。

    Feb, 2024

  • 大型语言模型的推理效率从粗粒度到细粒度评估

    通过对各种代码库的推理性能进行粗细的分析，本研究提供了研究人员评估代码库和改进推理策略的宝贵综合结果。

    Apr, 2024

  • 大语言模型的高效推论综述

    大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研究方向。

    Apr, 2024

  • 尺寸越大越好吗？通过预算重新分配改进的 LLM 代码生成

    在相同预算下，研究发现使用较小的语言模型可以获得持续改进，但在无法进行单元测试的情况下，从较小模型中选择候选者的排名方法的性能不如较大模型的单一输出。

    Mar, 2024

  • 企业版预训练语言模型 Fine Tuning 指南与推荐

    使用专有文件和代码从企业存储库中细调 LLMa LLMs，以评估响应质量，同时提供细调 LLM 的实用指导和建议。

    Mar, 2024

  • 大型语言模型的性能误区揭秘：微调与失败？

    研究探讨了大型语言模型在细调、提取上下文数据和性能增强方面的影响，以及它们在多个领域的应用情况，并指出了细调模型在特定任务中性能下降的问题。

    Jun, 2024

  • 解密用于多样化 LLM 推理用例的平台要求

    研究使用 GenZ 工具来探讨大型语言模型的推理性能与各种平台设计参数之间的关系，并提供配置不同工作负载和用例的平台要求，在不同场景下支持 SOTA LLMs 模型的分析，也展示了为支持未来可能超过数万亿参数的 LLMs 所需的硬件能力预测。

    Jun, 2024

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

    Oct, 2023