BriefGPT.xyz
大模型
Ask
alpha
关键词
vram
搜索结果 - 1
INT2.1: 通过低秩适应实现误差校正的可微量化大语言模型
本文提出了一种新的方法,使用极度节约内存的微调方法和 Low-Rank Adaptation (LoRA) 对异常进行纠正,从而显著减少了缺乏内存的大型模型的微调 VRAM 需求,并使精度达到了 INT2.1。同时,我们的方法适用于其他量化
→
PDF
a year ago
Prev
Next