BriefGPT.xyz
Ask
alpha
关键词
pipetransformer
搜索结果 - 1
PipeTransformer: 基于自动化弹性管道的 Transformers 分布式训练
本研究提出了 PipeTransformer 来提高 Transformer 模型的多节点分布式训练效率,该方法通过自动化管线处理和数据并行来动态调整管线和并行策略,从而实现层的冻结和资源分配,结果表明 PipeTransformer 相较
→
PDF
3 years ago
Prev
Next