BriefGPT.xyz
Ask
alpha
关键词
mixed precision optimization techniques
搜索结果 - 1
内存高效的混合精度优化器
传统优化方法依赖于使用单精度浮点算术,在内存大小和计算性能方面具有成本。然而,混合精度优化技术利用单精度和半精度浮点算术来降低内存需求,同时保持模型准确性。我们在训练模型期间提供了一种算法,通过摆脱参数的浮点副本,实际上只保留半精度数,进一
→
PDF
10 months ago
Prev
Next