gpu clusters | BriefGPT - AI 论文速递

关键词gpu clusters

搜索结果 - 9

线性注意力序列并行
本文介绍了一种基于线性注意力的语言模型的高效序列并行化方法 ——LASP，通过设计高效的点对点通信机制以及融合核函数和中间状态缓存来使其在 GPU 集群上实现硬件友好且能与批量并行方法兼容，从而在大规模集群上具有更高的并行化效率和可用性。
PDF3 months ago
ICMLLookupFFN: 让 Transformer 在 CPU 推理中计算更轻巧
通过研究 GEMM 基于前馈网络（FFN）的模块，我们提出了一种替代方案（称之为 LookupFFN），将大多数关键操作转化为内存查找，以减少所需的 FLOP，从而在 RoBERTa 语言模型预训练中实现类似性能。
PDF4 months ago
网络争用感知的集群调度策略与强化学习
通过使用强化学习，我们提出了一种新的方法，在 GPU 集群中减轻网络争用，以提高调度决策的效率，从而减少作业完成时间并降低资源利用率。
PDF8 months ago
交响乐：使用集中协调优化的模型服务
Symphony 是一个集中式调度系统，用于在 GPU 集群上协调深度神经网络模型推断。它通过使用非工作保持调度算法实现高批量效率，并能够自动扩展。Symphony 利用基于计算和内存需求的模型将模型分配给子集群的大规模算法，经过广泛的实验
PDFa year ago
ZeRO++：巨型模型训练的极高效集体通信
本文介绍了三种通信量减少技术，目标是针对 ZeRO 中的每个通信集合，共同提高 ZeRO ++ 的有效吞吐量，减少 ZeRO 的通信量，并允许在 384 个 GPU 规模下提高最多 2.16 倍的吞吐量。
PDFa year ago
MSRL: 数据流片段下的分布式强化学习
MindSpore Reinforcement Learning (MSRL) is a distributed system that supports parallel computing on GPU clusters for Rei
PDF2 years ago
ZeRO-Offload: 亿级模型训练的民主化
ZeRO-Offload 通过将数据和计算卸载到 CPU，最大化 GPU 内存节省，减少 CPU 计算时间的同时提高算力，解决了大规模模型训练所需的高昂费用，可让普通数据科学家在仅拥有单个 GPU 的情况下训练超过 70 亿参数的模型。
PDF3 years ago
图神经网络训练中的通信减少
本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。
PDF4 years ago
MXNet：一个灵活高效的异构分布式机器学习库
MXNet 是一种多语言的机器学习库，可以在各种异构系统上运行，并支持深度神经网络应用，其 API 设计和系统实现均提供了符号表达式和张量运算的自动微分。
PDF9 years ago