BriefGPT.xyz
Ask
alpha
关键词
zero-infinity
搜索结果 - 1
ZeRO-Infinity:打破 GPU 内存壁垒,满足极端规模的深度学习
该论文提出了一项新的异构系统技术,称为 ZeRO-Infinity,它可以在有限的资源上实现前所未有的模型规模,同时实现出色的训练吞吐量和可扩展性,并且无需重构模型代码,是一个可以应用于当前 GPU 集群的技术。
PDF
3 years ago
Prev
Next