Jun, 2024
基于 Transformer 模型的低秩自适应 (LoRA) 的计算限制
Computational Limits of Low-Rank Adaptation (LoRA) for Transformer-Based Models
Jerry Yao-Chieh Hu, Maojiang Su, En-Jui Kuo, Zhao Song, Han Liu
TL;DR通过在梯度计算中寻找低秩分解,我们研究了基于变换器模型的低秩适应(LoRA)更新的计算极限,证明了算法加速的可能性,并通过控制 LoRA 更新的计算项,基于 Strong Exponential Time Hypothesis (SETH) 实现了近乎线性的算法。