BriefGPT.xyz
大模型
Ask
alpha
关键词
llm compression
搜索结果 - 4
RankAdaptor: 针对结构修剪的层次动态低秩适应性建模
采用 RankAdaptor 的分层动态秩调度方法,有效地微调剪枝的大型语言模型 (LLM),在不增加训练参数的情况下,进一步减小剪枝模型恢复精度与原始模型之间的性能差距。
PDF
12 days ago
低位量化的 LLaMA3 模型效果如何?实证研究
LLaMA3 在低位量化方面存在明显的性能下降问题,需要在未来的发展中弥合低位宽度下的性能差距,此经验研究对于推进未来模型的发展非常有价值。
PDF
2 months ago
SVD-LLM:大型语言模型压缩的截断感知奇异值分解
提出了一种新的基于奇异值分解的大型语言模型压缩方法 SVD-LLM,它解决了现有方法的限制,并在高模型压缩比下展现了优越性能。
PDF
4 months ago
EMNLP
压缩的成本:研究压缩对语言模型参数化知识的影响
压缩大型语言模型(LLM)包含数十亿参数,可以提供更快的推理速度,更小的内存占用,并支持本地部署。我们通过对多个模型系列(ENCODER、ENCODER-DECODER 和 DECODER)使用 LAMA 和 LM-HARNESS 基准进行
→
PDF
7 months ago
Prev
Next