FlexModel：一种用于解释性分布式大型语言模型的框架

Dec, 2023

FlexModel：一种用于解释性分布式大型语言模型的框架

FlexModel: A Framework for Interpretability of Distributed Large Language Models

Matthew Choi, Muhammad Adil Asif, John Willes, David Emerson

TL;DR通过民主化模型交互并推动大规模神经网络领域的更加包容性研究，FlexModel 提供了与分布在多个 GPU 和多节点配置上的模型进行交互的简化界面。

Abstract

With the growth of large language models, now incorporating billions of parameters, the hardware prerequisites for their training and deployment have seen a corresponding increase. Although existing tools facilitate model parallelization and distributed training, deeper model interacti

large language models interpretability responsible ai techniques flexmodel distributed model internals

发现论文，激发创造

FlexTrain：用于异构设备环境的动态训练框架

通过 FlexTrain 框架，我们能够高效部署深度学习模型到异构设备上，从而节省训练时间和能源消耗，并且在联合学习场景下优于标准联合学习基准模型。

Oct, 2023

Flextron: 多合一弹性大语言模型

Flextron 是一种网络架构和后训练模型优化框架，用于灵活的模型部署，并通过样本高效的训练方法和路由算法将现有的 LLM 转换为 Flextron 模型，实现卓越的性能，远优于其他弹性网络和多个端到端训练变体，并且仅需要进行一轮预训练消耗原始预训练的 7.63% 令牌。

Jun, 2024

互联网上大规模语言模型的分布式推理和微调

本研究探讨了大型语言模型在成本高效的推理和微调方面的方法，并比较了本地和分布式策略。我们开发了特殊的容错推理算法和负载平衡协议，用于自动分配设备以最大化系统总吞吐量，并展示了这些算法在 Petals 中的应用，该分散式系统能够以比离线处理快 10 倍的速度运行大型语言模型。我们通过模拟条件和跨越两大洲的真实场景对系统性能进行了评估。

Dec, 2023

使用 JAX pjit 和 TPUv4 的可扩展语言模型训练

本文探讨了开发可扩展培训框架所涉及的挑战和设计决策，并介绍了采用新的软件和硬件解决方案带来的效率改进的定量分析。

Apr, 2022

FlexLLM: 用于共同服务大型语言模型推理和参数高效调优的系统

我们提出了 FlexLLM，这是第一个能够在同一次迭代中处理推理和参数高效微调请求的系统，通过协同服务的方法，利用共享的 GPU 资源来同时运行这两个任务，FlexLLM 的合作服务方法减少了激活 GPU 内存开销高达 8 倍，并将微调的整个 GPU 内存要求降低了最多 36％，同时保持了低推理延迟并提高了微调吞吐量。

Feb, 2024

Helix: 基于异构 GPU 上的最大流进行大型语言模型的分布式服务

介绍了一种名为 Helix 的分布式系统，用于在异构 GPU 集群上提供高吞吐量和低延迟的大语言模型（LLM）服务。通过将 LLMs 的推理计算以最大流问题形式表示为有向加权图，使用混合整数线性规划（MILP）算法来发现高度优化的策略，从而联合优化模型放置和请求调度，在几个异构集群设置上的评估结果表明，与现有的最佳方法相比，Helix 将服务吞吐量提高了 2.7 倍，并将提示和解码延迟分别降低了 2.8 倍和 1.3 倍。

Jun, 2024

Lingvo：一种序列到序列建模的模块化可扩展框架

Lingvo 是一个 Tensorflow 框架，其模型由模块化的组件构成，支持分布式训练和量化推理，应用于深度学习研究，并展示了框架的高级特性和能力。

Feb, 2019

TensorFlow Estimators: 高层次机器学习框架中简单性与灵活性的平衡管理

提出了一个框架，以简化创新的机器学习方法，以便将这些技术应用于生产环境中。该框架允许用户编写代码以定义他们的机器学习模型，并提供抽象层以指导开发人员将模型编写为有利于生产环境的方式。通过使用特征列，对模型进行参数化，同时提供了一组实用程序，旨在加快实验工作，以使开箱即用的模型灵活且适用于各种问题。

Aug, 2017

分布式环境下深度学习通用性能模型

本文提出一种针对分布式环境下深度学习应用程序的性能建模方法，使用正则化和差分进化算法解决全局优化问题，可用于任何分布式深度神经网络，为性能和可扩展性提供有帮助的因素解释和准确性预测。

May, 2023

使用单个 GPU 进行大规模语言模型的高吞吐量生成推断

本文旨在研究如何利用有限的 GPU 资源进行高吞吐量的大语言模型推理，通过提出一种高吞吐量生成引擎 FlexGen，结合线性规划优化器并压缩权重和注意力缓存，成功实现在仅一个 16GB GPU 上运行 OPT-175B，并取得了较高的推理吞吐量。

Mar, 2023