BriefGPT.xyz
Ask
alpha
关键词
badam
搜索结果 - 1
BAdam: 大型语言模型的内存高效全参数训练方法
该研究提出了 BAdam,一种利用 Adam 作为内部求解器的块坐标优化框架的优化器。BAdam 提供了一种内存高效的方法,用于对大型语言模型进行完全参数微调,通过链式规则属性减少了后向过程的运行时间。实验结果表明,BAdam 在比较 Lo
→
PDF
3 months ago
Prev
Next