Feb, 2024
重新考虑用于内存高效 LLM 微调的零阶优化:基准测试
Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
Yihua Zhang, Pingzhi Li, Junyuan Hong, Jiaxiang Li, Yimeng Zhang...
TL;DR本研究旨在提出一种采用零阶优化的方法,以减少在大规模语言模型训练中由反向传播算法所引起的显著内存开销,从而实现内存更高效的模型微调。