speed of training | BriefGPT

关键词speed of training

搜索结果 - 1

Run LoRA Run：更快更轻的 LoRA 实现
LoRA 是一种通过引入低秩适配器到线性层中减少可训练参数数量的技术，本文提出了 RunLoRA 框架，用于高效实现 LoRA，从而显著提高神经网络训练和微调的速度。实验结果显示，在 Llama 系列模型中可以实现高达 17% 的加速。
PDF7 months ago