BriefGPT.xyz
Ask
alpha
关键词
inference overhead
搜索结果 - 2
稀疏高秩适配器
本文提出了基于稀疏高秩适配器 (SHiRA) 的新范式,通过直接调整基模型权重的 1-2% 来训练高度稀疏的适配器,以在融合模式下实现无推理开销、快速切换和显著降低概念损失的效果。对 LVMs 和 LLMs 的广泛实验表明,仅微调基模型的一
→
PDF
17 days ago
EMNLP
高效的最近邻语言模型
本文探讨了如何提高非参数神经语言模型的效率,实验表明我们的方法能够在保持性能相当的情况下提高 6 倍的推理速度,为以后开发或部署更有效的非参数神经语言模型提供指南。
PDF
3 years ago
Prev
Next