使用可微缩不变稀疏度量学习稀疏神经网络的 DeepHoyer

ICLRAug, 2019

使用可微缩不变稀疏度量学习稀疏神经网络的 DeepHoyer

DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures

Huanrui Yang, Wei Wen, Hai Li

TL;DR本论文提出了一组可微且尺度不变的模型压缩正则化项 DeepHoyer，通过实验表明在相同的精度水平下，使用 DeepHoyer 压缩神经网络可以得到更加稀疏的模型，可以运用于元素级和结构级剪枝。

Abstract

In seeking for sparse and efficient neural network models, many previous works investigated on enforcing L1 or L0 regularizers to encourage weight sparsity during training. The L0 regularizer measures the parameter sparsity directly and is invariant to the scaling of parameter values, but it cannot provide useful gradients, and therefore requires complex opt

sparse neural networks l0 and l1 regularizers deephoyer sparsity-inducing regularizers structural pruning

发现论文，激发创造

通过权重尺度不变正则化提高神经网络的泛化性能和鲁棒性

该研究论文介绍了一种改进神经网络正则化器的方法，该正则化器不仅能对权重衰减，还能考虑权重尺度偏移对正则化的影响，有效地限制神经网络的内在范数，并优化了对抗强度以提高泛化性能。

Aug, 2020

通过渐进正则化进行神经剪枝

本文提出了一种新的方法，将正则化引入到神经网络的剪枝问题中，并提出了一种增量 L2 规范化变量的方法来解决剪枝安排和权重重要性评分的问题。这种增量非常成功，使得我们的算法在结构化和非结构化的剪枝条件下都具有可扩展性，并在 CIFAR 和 ImageNet 数据集上取得了与许多现有算法相媲美的结果。

Dec, 2020

透过反比尺度空间探索深度网络的结构稀疏性

本文提出了一种基于反射尺度微分包含的新方法，该方法通过耦合一对参数在动力学过程中生成从简单到复杂的模型系列，同时探索过度参数化的深度模型和其结构稀疏性。实验证据表明，我们的方法在探索几个广泛使用的支撑点上的稀疏结构方面表现出与竞争优化器可比甚至更好的性能。值得注意的是，我们的方法能够在早期阶段揭示 “获胜的票据”，即具有与完全训练的超参数化模型相当的测试精度的有效稀疏网络结构，这些模型可以进一步迁移到类似的替代任务中。此外，我们的方法能够高效地使用自适应过滤器配置来有效地增加网络，展示出更少的计算成本。

May, 2019

通过 $L_0$ 正则化学习稀疏神经网络

本研究提出了一种使用稀疏性约束进行神经网络剪枝的方法，该方法通过一系列随机门来收缩网络，以便训练和预测运算可以更加快速和高效。

Dec, 2017

深度神经网络的分组稀疏正则化

探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

Jul, 2016

学习深度 L0 编码器

通过引入新的神经元和池化函数，本研究使用深度学习工具研究了 $l_0$ 稀疏逼近问题，将其建模为前馈神经网络，并进行了有效的网络正则化。与传统的稀疏编码解决方案相比，所提出的深度编码器具有更快的推理速度，更大的学习能力和更好的可扩展性。此外，在任务驱动的损失下，可以方便地从端到端优化模型。数值结果证明了所提出编码器的优秀表现。

Sep, 2015

任意 $p$ 范数的分离权重衰减

通过桥接 $L_p$ 正则化的权重衰减方案，提出了一个简单而有效的稀疏化方法，以应对大规模神经网络的计算和存储要求，并避免了 $0<p<1$ 的正则化梯度发散问题，实验证明其导致高度稀疏的网络，同时保持与标准 $L_2$ 正则化相当的泛化性能。

Apr, 2024

具有可分解正则化项的 M - 估计高维分析 Unified 框架

这篇论文提供了一个统一的框架，以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度，指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性，这些特性在许多经典案例中也是最优的

Oct, 2010

正则化压缩神经网络的学习

研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

Feb, 2018

正则化非负标度不变低秩逼近模型的高效算法

通过研究称为均匀正则化比例不变的更一般模型，本文证明了低秩逼近模型中的比例不变性带来了隐式正则化，具有意想不到的有益和有害效果，并根据这一观察加强了正则化函数在低秩逼近模型中的作用理解，以引导正则化超参数的选择，并设计平衡策略以提高优化算法的收敛速度。

Mar, 2024