深度学习的复杂模型限制了其巨大潜力的发挥，需要高效的稀疏化技术。贝叶斯稀疏化是一种关键方法，能够设计出在各种深度学习应用中既计算效率高又性能竞争力强的模型。本研究指出贝叶斯模型简化是一种更高效的模型参数修剪方法，相对于现有的基于随机变分推断的方案，具有更好的计算效率和修剪率。研究中通过对各种深度学习架构的实例进行了验证，包括经典的网络如 LeNet 以及现代框架如视觉 Transformer 和 MLP-Mixer。

Sep, 2023

这篇论文提出了一种基于 Bayesian 模型的 dropout 正则化方法，该方法将噪声注入神经元输出中以提供结构化稀疏性，从而去除计算图中的低 SNR 元素，并在多个深度神经结构中实现了显著的加速。

May, 2017

本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

Apr, 2023

通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

Jun, 2019

文章提出了一个基于次模优化的可靠、高效的数据压缩方法，能够在模型输出稳定性和极小模型损失之间取得平衡，适用于数据稀缺情形下的神经网络压缩优化。

Mar, 2022

通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

Nov, 2023

基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

Jun, 2024

利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型，在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能

Feb, 2024

本研究基于先前研究结构性剪枝技术，从稀疏神经网络的角度分析剪枝问题，提出 Block-Max Weight Masking (BMWM) 和 Density-Adaptive Regular-Block (DARB) 两种新方法，比现实有人工智能领域的现有结构化剪枝技术提高了 13-25 倍和 14.3 倍的剪枝和解码效率。

Nov, 2019

通过引入结构修剪算法（SPADE）来降低计算复杂性，从而实现基于模型的深度学习网络（MBDL）在大规模应用中的可适用性。

Nov, 2023