该论文提出了一种通过初始训练过程中修剪权重来减少模型参数的技术，以便在减小了模型大小的同时，保留了准确度并显著提高了推理时间，在基准测试中使用该技术可以将模型大小降低 90%，速度提高 2 倍至 7 倍

Apr, 2017

通过模型修剪和 GPU 优化，我们为稀疏 RNN 设计了一种高效的实现，包括 Lamport 时间戳、宽存储器负载和银行感知权重布局等优化措施，使得在隐藏层大小为 2304，批处理大小为 4，密度为 30% 时，我们的技术可实现超过 6 倍的加速效果，进一步，我们的技术使得大于 5 倍的模型大小可以适应于 GPU 以达到 2 倍的加速效果，最后我们在附录中进行了机器翻译和语音识别任务的案例研究，将循环层加速了最多 3 倍。

Apr, 2018

本文通过采用稀疏变分 dropout 技术和二元变分 dropout 技术，对循环神经网络进行稀疏化处理，并在情感分析和语言建模任务中取得了较高的稀疏度和较低的信息损失。

Jul, 2017

通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

Jun, 2019

本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext-2 数据集上实现了优于 dense-to-sparse 方法的最新稀疏训练结果。

Jan, 2021

本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

Jun, 2017

通过引入新颖的 Lyapunov Noise Pruning (LNP) 算法和利用各类散度来设计一个稳定的、计算效率高的、适用于不同任务的稀疏的异质 RSNN 模型，本文展示了相对于传统的基于活性剪枝的方法，该任务无关的方法可以增加 RSNN 的计算效率和预测性能。

Mar, 2024

通过对参数进行稀疏化，结合稀疏激活在递归神经网络中的相乘作用，实现了对神经网络计算成本高效率的优化，可以应用于神经形态计算设备上，同时不牺牲任务性能。

Nov, 2023

稀疏化技术在大规模神经模型运行中减少计算成本的常用方法之一。本文提出了一种新的循环神经网络（RNNs）稀疏化技术，称为模量规则化，结合幅值修剪。通过使我们的规则化术语明确成几何形式，我们首次对我们的神经网络的期望稀疏架构进行了先验描述。验证了我们的方案对导航和自然语言处理 RNNs 的有效性。

Jun, 2024

本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。

May, 2020