用于优化任意神经网络的可插拔式可训练门控

AAAIApr, 2019

用于优化任意神经网络的可插拔式可训练门控

Plug-in, Trainable Gate for Streamlining Arbitrary Neural Networks

Jaedeok Kim, Chiyoun Park, Hyun-Joo Jung, Yoonsuck Choe

TL;DR通过引入可训练门控函数，将离散取值变量转化为可微的属性，应用在架构优化的选择问题上，从而实现网络的剪枝和权重优化，通过实验验证了该方法在图像分类、风格变换、光流估计和神经机器翻译等各个领域中的有效性。

Abstract

architecture optimization, which is a technique for finding an efficient neural network that meets certain requirements, generally reduces to a set of multiple-choice selection problems among alternative sub-structures or parameters. The discrete nature of the selection problem, howeve

architecture optimization trainable gate function pruning gradient-based training methods neural networks

发现论文，激发创造

通过具有可微极化的门实现稳定的神经网络修剪

本文提出了一种新颖的模型压缩技术，称为 Gates with Differentiable Polarization（GDP），该技术可以在不影响模型性能的情况下控制每个通道或层块，优于常规采样和基于门控的剪枝方法，经实验证明在各类深度神经网络压缩方案中取得了最优性能提升。

Sep, 2021

通道调节神经网络

本研究介绍了通道门控（channel gating）方法，该方法是动态、细粒度且硬件高效的裁剪方案，能够通过跳过对分类结果没有贡献的输入通道的计算，优化卷积神经网络。实验证明，该方法能够在几乎不损失准确度的情况下，实现浮点运算量减少 2.7-8.0 倍，内存访问减少 2.0-4.4 倍，并结合知识蒸馏可以进一步降低计算成本。我们还设计了一个加速器，能够以 2.4 倍的速度进行量化的 ResNet-18 模型的推理，并实现了 2.8 倍的理论 FLOP 减少。

May, 2018

梯度下降剪枝神经网络

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

保持梯度流的情况下在训练之前选择获胜的票数

该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。

Feb, 2020

神经剪枝中保持可训练性

本文介绍了一种具有可扩展性的训练可塑性剪枝方法（TPP），该方法通过惩罚卷积内核的克罗内克矩阵来使神经网络保持可训练性，从而在剪枝表现和对再培训超参数的鲁棒性方面得到了改善，特别是在具有非线性结构的 ConvNets 上表现明显优于其他对应方法。

Jul, 2022

深度卷积神经网络的辅助门控结构自动分块剪枝

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022

一种深层神经网络压缩的新型通道修剪方法

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

可微运输剪枝

本文提出一种新的精确剪枝技术，利用有效的最优传输方案，使得算法自动调整探索 - 开发行为，从而在 3 个不同的数据集、5 个不同的模型、各种剪枝比例和两种稀疏度预算和剪枝颗粒度等方面均取得了先进的性能。

Jul, 2023

通过神经元选择对递归神经网络进行结构化剪枝

通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

Jun, 2019

Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络

本文提出了一种名为 Gate Decorator 的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用 Taylor 展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪枝网络，并且通过迭代剪枝框架 Tick-Tock 提高准确性，实验证明该方法的有效性。

Sep, 2019