performance retention | BriefGPT

关键词performance retention

搜索结果 - 6

FinerCut: 大型语言模型的精细化可解释层修剪
基于超参数的 Transformer 网络是大规模语言模型的最新架构。本文提出了一种名为 FinerCut 的剪枝方法，它能够剪枝 Transformer 网络中的自注意力层和前馈神经网络层，以达到模型精简、可解释、多任务的剪枝效果。与之前
PDFa month ago
SPP：稀疏保存的参数高效微调大型语言模型
介绍了一种基于稀疏保持参数高效微调的方法，通过轻量级可学习的列和行矩阵对稀疏大语言模型的权重进行优化，保持修剪过的预训练模型的结构和稀疏性，显著提升了稀疏大语言模型的性能。
PDFa month ago
為什麼举得那麼重？通过削减层数减轻大型语言模型
通过减少层数，可以缩小大型语言模型的规模，而仍能保持或提升其在文本分类任务中的性能水平。
PDF5 months ago
EMNLP理解语言模型中输入令牌字符的作用：信息损失如何影响性能？
通过预训练语言模型使用个别单词标记的少数字符子集，我们发现即使在极端情况下，即每个标记仅使用一个字符进行预训练，与全标记模型相比，在标准 NLU 基准测试和探测任务中，性能保持较高水平，例如，仅使用标记的单个首字符进行预训练的模型，在 Su
PDF8 months ago
Fisher 屏蔽下的遗忘
通过使用 Fisher 信息的新掩码策略，在不需要任何微调的情况下，该方法能够几乎完全取消学习，同时保持大部分数据的性能，相对于其他取消学习基准测试还表现出更强的稳定性。
PDF9 months ago
线下增强学习单次剪枝
本研究探讨了如何在离线强化学习中应用神经网络修剪技术，通过离线修剪技术，可以在保证性能的情况下减少神经网络的大小，提高训练效率。实验结果证明在网络被修剪了 95% 的情况下，算法表现依然很好。
PDF3 years ago