BriefGPT.xyz
Ask
alpha
关键词
breadth-first pipeline parallelism
搜索结果 - 1
广度优先流水线并行
引入 Breadth-First Pipeline Parallelism，这是一种结合了 pipeline 和 data parallelism 的新型训练策略，通过充分利用 GPU 和每个 GPU 上的小 batch size 的特性，
→
PDF
2 years ago
Prev
Next