BriefGPT.xyz
Ask
alpha
关键词
fp8 low-bit data formats
搜索结果 - 1
FP8-LM:训练 FP8 大型语言模型
我们探索了 FP8 低位数据格式以实现大规模语言模型(LLM)的高效训练。我们提出了一种新的 FP8 自动混合精度框架,可以在递增的方式下渐进地应用 8 位梯度、优化器状态和分布式学习。实验证明,在 H100 GPU 平台上使用我们的 FP
→
PDF
8 months ago
Prev
Next