Nov, 2019

通过雅可比谱评估一次性剪枝递归神经网络

PDF
TL;DR这篇论文通过引入一种基于循环雅可比谱的新的循环网络修剪目标，提出了一种高效数据、易于实现的处理方案，能够解决循环网络修剪中的定量和定性问题，并在连续 MNIST、十亿词、Wikitext 等任务中取得了长足进展。
sparse neural networkrecurrent network pruninggrusdata efficiencyjacobian spectrum
发现论文，激发创造
  • 神经网络剪枝作为谱保持过程

    通过矩阵稀疏化的过程，我们提出了适用于神经网络剪枝的矩阵稀疏化算法，以保留关键神经权重，从而为神经网络剪枝提供一个统一的理论基础，并提高了深度神经网络的可解释性。

    Jul, 2023

  • 通过神经元选择对递归神经网络进行结构化剪枝

    通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

    Jun, 2019

  • 探索循环神经网络中的稀疏性

    该论文提出了一种通过初始训练过程中修剪权重来减少模型参数的技术，以便在减小了模型大小的同时，保留了准确度并显著提高了推理时间，在基准测试中使用该技术可以将模型大小降低 90%，速度提高 2 倍至 7 倍

    Apr, 2017

  • 稀疏持续 RNN：在芯片上压缩大规模循环神经网络

    通过模型修剪和 GPU 优化，我们为稀疏 RNN 设计了一种高效的实现，包括 Lamport 时间戳、宽存储器负载和银行感知权重布局等优化措施，使得在隐藏层大小为 2304，批处理大小为 4，密度为 30% 时，我们的技术可实现超过 6 倍的加速效果，进一步，我们的技术使得大于 5 倍的模型大小可以适应于 GPU 以达到 2 倍的加速效果，最后我们在附录中进行了机器翻译和语音识别任务的案例研究，将循环层加速了最多 3 倍。

    Apr, 2018

  • 循环神经网络的贝叶斯稀疏化

    本文通过采用稀疏变分 dropout 技术和二元变分 dropout 技术，对循环神经网络进行稀疏化处理，并在情感分析和语言建模任务中取得了较高的稀疏度和较低的信息损失。

    Jul, 2017

  • 通过神经再生的增强修剪可塑性实现稀疏训练

    本论文研究了通过神经再生技术改进的渐进式剪枝算法（GraNet），它结合了取得与单次剪枝同等性能和训练 / 推理效率的优点，尤其是其稀疏 - 稀疏模式极大地提高了 ResNet-50 在 ImageNet 上的性能。

    Jun, 2021

  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023

  • 稀疏脉冲神经网络：利用时间尺度异质性进行修剪循环 SNN

    通过引入新颖的 Lyapunov Noise Pruning (LNP) 算法和利用各类散度来设计一个稳定的、计算效率高的、适用于不同任务的稀疏的异质 RSNN 模型，本文展示了相对于传统的基于活性剪枝的方法，该任务无关的方法可以增加 RSNN 的计算效率和预测性能。

    Mar, 2024

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 保持梯度流的情况下在训练之前选择获胜的票数

    该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。

    Feb, 2020