可学习稀疏度的软阈值权重重参数化

ICMLFeb, 2020

可学习稀疏度的软阈值权重重参数化

Soft Threshold Weight Reparameterization for Learnable Sparsity

Aditya Kusupati, Vivek Ramanujan, Raghav Somani, Mitchell Wortsman, Prateek Jain...

TL;DR本研究提出了一种基于软阈值重参数化（STR）的方法，该方法通过学习修剪阈值实现平滑稀疏（非均匀稀疏），从而获得非均匀稀疏预算，进而在 CNNs 中实现非结构化稀疏，在 ImageNet-1K 上实现了最先进的准确性，并且可以用于在 RNNs 中引出低秩（结构稀疏）。

Abstract

Sparsity in Deep Neural Networks (DNNs) is studied extensively with the focus of maximizing prediction accuracy given an overall parameter budget. Existing methods rely on uniform or heuristic non-uniform sparsity budgets which have sub-optimal layer-wise parameter allocation resulting

sparse deep neural networks soft threshold reparameterization sparsity budgets unstructured sparsity cnns

发现论文，激发创造

直通梯度和软阈值是稀疏训练所需的全部吗？

采用 ST-3 方法，结合软阈值和直通渐变估计来训练神经网络，可以有效地减少计算复杂性和在单次训练周期内逐渐增加稀疏度率而获得 SoA 结果。

Dec, 2022

动态稀疏重参数化实现深度卷积神经网络的参数高效训练

介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

Feb, 2019

通过刺激训练增强稀疏化

基于稀疏化剪枝的研究中，我们提出了一种增强稀疏化范式的结构化剪枝框架 (STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。此外，为了找到最优的剪枝网络架构，我们采用了多维架构空间和知识蒸馏引导的探索策略，同时使用子网变异扩展技术来减小蒸馏的容量差距。大量实验证明了 STP 的有效性，特别是在极度激进的剪枝情况下，例如在 ImageNet 上对 ResNet-50 进行剪枝，保持 95.11% 的 Top-1 准确率（从 76.15% 减少 85% 的浮点操作）。

Mar, 2024

N:M 稀疏性的空间重参数化

本文提出了 Spatial Re-parameterization (SpRe) 方法，用于 N:M 稀疏性在 CNN 中的应用。该方法可以在训练期间利用非结构化稀疏性的空间稀疏性分布来为 N:M 稀疏性模型分配一个额外的支路，使其可以维持类似于非结构化稀疏性的空间稀疏性分布。在推理期间，该额外的支路可以进一步重新参数化为主要的 N:M 支路，而不会对稀疏模式或额外的计算成本产生扭曲。SpRe 方法可以在各种基准测试中匹配 N:M 稀疏性方法的表现与最先进的非结构化稀疏性方法。

Jun, 2023

深度展开收缩网络用于动态磁共振成像

通过使用一种称为带通道注意力的软阈值算子 (AST)，我们提出了一种用于动态磁共振成像的新型深度展开收缩网络 (DUS-Net)，通过展开交替方向乘法因子方法 (ADMM) 对转换后的 $l_1$ 范数动态 MR 重建模型进行优化，实验证明 DUS-Net 优于现有的方法。

Jul, 2023

软阈值剪枝的统一框架

本研究提出了一种软阈值剪枝算法，将其重构为使用迭代收缩阈值算法（ISTA）求解的隐式优化问题，并以此推导出优化阈值的最佳调度器及其它剪枝算法，该剪枝算法在 ResNet-50，MobileNet-V1 和 SEW ResNet-18 等图像数据集上表现出卓越的性能。

Feb, 2023

AUTOSPARSE: 深度神经网络稀疏训练自动化

本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

Apr, 2023

网络修剪的剪枝感知稀疏正则化

本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

Jan, 2022

通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

Jan, 2019

REST: 通过重新加权稀疏训练增强 DNN 的群体鲁棒性

通过重新权重稀疏训练的框架（REST），减少对偏见相关特征的依赖，改善深度神经网络（DNN）在有偏数据中的性能，同时提高计算和内存效率。

Dec, 2023