关键词neural network pruning
搜索结果 - 46
- 深度神经网络修剪的隐私保护学习
本文通过提出一种新的方法，证明神经网络剪枝相当于给隐藏层的激活值加入一定量的差分隐私噪音，进而探讨了神经网络剪枝与差分隐私之间的关系以及其实际应用的可行性与效果，发现在某些情况下，神经网络剪枝可能是比差分隐私更为有效的方法。
- HRank：使用高阶特征图进行滤波器剪枝
本文主要介绍了一种基于高级别特征的神经网络剪枝算法，该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率，达到了减少 FLOPs 和参数数量的效果，而且即使未更新的高级别特征权重对整体性能影响也很小。
- 使用内部蒸馏的背包修剪
本研究提出了一种基于背包问题和内部知识蒸馏的神经网络剪枝方法，该方法能够在优化被剪枝网络的最终准确性的同时，从过度参数化的母网络的内部层中提取知识，并使用块分组方法来处理复杂的网络结构。该方法在 ImageNet、CIFAR-10 和 CI - AAAIDARB: 一种面向深度神经网络的密度感知规则块剪枝方法
本研究基于先前研究结构性剪枝技术，从稀疏神经网络的角度分析剪枝问题，提出 Block-Max Weight Masking (BMWM) 和 Density-Adaptive Regular-Block (DARB) 两种新方法，比现实有人 - 压缩的深度神经网络遗忘了什么？
通过对神经网络剪枝和量化技术的研究，我们发现模型容量的减少会对数据分布尾部产生不成比例的影响，这在不同图片和类别的表现上表现出明显的差异。
- ICLR彩票假说：寻找稀疏的可训练神经网络
该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的