BriefGPT.xyz
大模型
Ask
alpha
关键词
quantization levels
搜索结果 - 2
贝叶斯 - LoRA:使用最佳量化水平和等级值通过可微分贝叶斯门进行参数高效微调的基于 LoRA 的方法
在这项研究中,我们提出了一种基于贝叶斯角度的矩阵分解和量化方法,名为 B-LoRA,通过对学习到的低秩矩阵的量化级别和秩值引入先验分布,使其能够在特定任务上对预训练模型进行精细调节,找到每个低秩矩阵的最佳秩值和量化级别。通过在 GLUE 基
→
PDF
16 days ago
DynaQuant: 动态量化深度学习训练检查点的压缩
通过提出动态量化压缩算法 DynaQuant,实现 DL 工作负载的检查点压缩,有效减少了检查点存储开销,并能够在保持模型准确性的前提下最大化压缩比,从而在传输学习等应用中实现了数量级的提升。
PDF
a year ago
Prev
Next