model size reduction | BriefGPT

关键词model size reduction

搜索结果 - 29

运动剪枝：通过微调实现自适应稀疏性
本文提出一种基于移动修剪的权重修剪方法，相比于纯监督学习中使用的幅度修剪方法，更适用于预训练模型微调，实验证明在高稀疏度下，此方法对预训练语言模型的剪枝效果更好，结合蒸馏技术最大程度地减小模型参数，同时保持模型准确率。
PDF4 years ago
ICLR最小化随机代码学习：从压缩模型参数中获取二进制位
本文提出了一种通过使用全变分权重分布进行深度神经网络压缩的方法，能够实现更高的压缩率和更高的测试性能，并在 LeNet-5/MNIST 和 VGG-16/CIFAR-10 基准测试中创造出新的最优结果。
PDF6 years ago
CVPRMBS：卷积神经网络模型压缩的宏块缩放技术
本文提出了一种宏块缩放算法 (MBS)，可适用于各种 CNN 体系结构，以减小其模型大小。通过与 ImageNet 和 CIFAR-10 的经验研究表明，MBS 可以进一步减小某些已经紧凑的 CNN 模型的模型大小，同时即使是超深的 Res
PDF6 years ago
池化金字塔网络用于目标检测
通过共享盒子预测器并采用最大池化替代卷积之间的过程，成功降低了 Single Shot Multibox Detector 家族探测器的模型大小，同时保持相同的质量，避免了评分跨尺度的失真。
PDF6 years ago
低精度 RNN：量化 RNN 而不失准确性
本文提出了一种量化方法，通过减少比特宽度来提高模型大小，从而使网络在保持精度的同时，仍能获得减少精度和整体模型大小减少的好处。
PDF7 years ago
ICLR探索循环神经网络中的稀疏性
该论文提出了一种通过初始训练过程中修剪权重来减少模型参数的技术，以便在减小了模型大小的同时，保留了准确度并显著提高了推理时间，在基准测试中使用该技术可以将模型大小降低 90%，速度提高 2 倍至 7 倍
PDF7 years ago
深度神经网络在图像实例检索中的压缩
本文主要研究如何通过量化、编码、剪枝和权值共享等技术减小深度神经网络模型的规模，以解决基于卷积神经网络的全局图像描述符在图像实例检索任务上面临的储存问题，研究结果表明，最小化模型大小能够在不影响检索结果的情况下减小两个数量级的规模。
PDF7 years ago
NIPSLightRNN: 记忆和计算高效的循环神经网络
提出了一种新的 RNN 算法，使用 2-Component 共享嵌入表示单词，并成功地将其应用于语言建模任务，大大减少了模型大小和训练时间。
PDF8 years ago
ICML深度卷积网络的定点量化
本研究提出了一种针对深度卷积网络的定点数实现的量化器设计，通过优化比特宽度分配，实现了在 CIFAR-10 基准测试上降低模型大小 20% 以上的优化，同时保持了原始浮点模型的准确性，该设计还能通过微调进一步提高模型的精度，从而实现在定点数
PDF9 years ago