multi-large-model training | BriefGPT

关键词multi-large-model training

搜索结果 - 1

Saturn: 高效的多大模型深度学习
我们提出了 Saturn，这是一个新的数据系统，旨在提高多大模型训练的效率，通过解决并行技术选择、GPU 分布以及调度等相关问题，我们建立了一个新的系统架构，通过联合优化方法，在模型选择中运行时间较传统深度学习实践缩短了 39-49%。
PDF8 months ago