BriefGPT.xyz
Ask
alpha
关键词
theoretical convergence guarantees
搜索结果 - 1
MicroAdam:精确的自适应优化方法,低空间开销和可证明收敛性
提出了一种名为 MICROADAM 的 Adam 优化器新变种,它专门最小化内存开销,同时保持理论收敛性保证。通过在优化器状态之前压缩梯度信息来显著减少内存占用。使用分布式优化中的经典错误反馈机制来控制压缩误差,并实现实际的内存收益。证明了
→
PDF
a month ago
Prev
Next