BriefGPT.xyz
大模型
Ask
alpha
关键词
weight compression
搜索结果 - 4
大型语言模型的零数据压缩和降噪
基于大型语言模型的权重分解以及压缩方法，通过新的无需语料库参与、保持正交性的数据无关联 Rank-k 近似方法，成功压缩了 80% 的参数并保留了原始性能的 93.43%。同时，对经过 Rank-k 近似的权重矩阵进行了深入研究以验证假设。
PDF
4 months ago
IJCAI
使用自编码压缩权重更新在大规模联邦学习中进行通信优化
本文提出一种基于自编码器（Autoencoders）的动态正交压缩权重更新的方法，该方法不仅可以在大规模联邦学习中实现高达 500x 至 1720x 等多种压缩比，而且还可以根据精度要求、计算容量等要求进行修改，从而成为一种有优势的替代或补
→
PDF
3 years ago
CVPR
GST：组稀疏训练以加速深度强化学习
为了加速深度强化学习在实际边缘设备中的运行，本文提出了一种基于分块循环压缩的权重压缩方法，名为组稀疏训练 (GST)，该方法在所有深度强化学习迭代中选择性地使用分块循环压缩，并通过奖励感知修剪动态地调整目标稀疏度，以实现稳定的训练，实验表明
→
PDF
3 years ago
ICLR
基于熵罚项重新参数化的可扩展模型压缩
本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。
PDF
5 years ago
Prev
Next