Oct, 2021

共同激活 共同连接：一种带自监督掩码预测的动态剪枝方法

PDF
TL;DR本研究提出了一种基于 Hebbian 理论的动态网络剪枝方法，通过训练一个自我监督的二分类模型来预测每个层中需要处理的卷积核，从而实现 FLOPs 的减少，同时避免通过规范化引入复杂度来平衡各种损失，并实现透明的超参数选择。该方法在 CIFAR 和 ImageNet 数据集上的实验结果表明，与 SOTA 方法相比，具有相似的准确度和更高的 FLOPs 减少率。
dynamic model pruninghyperparameter selectionhebbian theoryneural architecturesflops reduction
发现论文，激发创造
  • 设备上快速适应预训练模型的一次性剪枝

    基于大规模预训练模型，提出了一种适用于低能力设备的可伸缩单次剪枝方法，利用类似任务的剪枝知识从预训练模型中提取一个子网络来适应新任务，实验证明该方法在处理具有不同内存限制的多样化下游任务时，在准确性和效率方面始终优于流行的剪枝基准方法。

    Jul, 2023

  • 动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络

    本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比，Dynamic Sparse Training 在多个网络架构上取得了业界领先水平。此外，我们还发现了传统三阶段剪枝算法的潜在问题，为更紧凑的神经网络架构设计提供了理论指导。

    May, 2020

  • 通过生成对抗学习实现最优结构化 CNN 剪枝

    本研究提出了一种基于 GAN 的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

    Mar, 2019

  • 通过掩码微调来弥合标记剪枝和完全预训练之间的差距

    采用蒙版微调为动态视觉转换器的静态预训练基础模型提供更好的初始化，以提高准确性并增强其对遮挡的鲁棒性和对信息丢失的抵抗能力。

    Oct, 2023

  • 突破确定性障碍：随机修剪掩码的生成和选择

    在同等模型大小约束下，大而稀疏的模型普遍比小而密集的模型具有更高的准确性。因此，本文提出了一种模型修剪策略，首先以设计的随机方式生成多个修剪掩码，然后通过一个有效的掩码选择规则从候选掩码组中选择最优掩码。为了进一步提高效率，引入了一种早期掩码评估策略，减少了训练多个掩码的开销。在 GLUE 数据集的八个数据集上进行了广泛的实验证明，该方法在高稀疏水平下实现了最先进的性能。

    Oct, 2023

  • 研究彩票票据剪枝掩模的一致性和组合性

    本文研究了采用多轮训练的方式，是否能够提高特定体系结构的准确度与稀疏性之间的平衡，并在共享的 ResNet-20 初始化的基础上使用不同的 SGD 数据顺序训练多个网络副本来实现。我们的实验结果显示，采用多轮训练的思路与一次性的基于幅度裁剪的方法相比并无差异。

    Apr, 2021

  • 全局稀疏约束下神经网络的有效稀疏化

    该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 ImageNet 等数据集上，尤其是在高剪枝率情况下超过现有的最先进方法。

    May, 2021

  • Transformer 模型的快速后训练剪枝框架

    本文提出一种基于结构化稀疏方法的快速 Transformer 模型剪枝框架，无需重新训练即可保持高准确度，在 GLUE 和 SQuAD 数据集中分别实现了 2 倍的 FLOPs 减少和 1.56 倍的推理速度提升，在单个 GPU 上不到 3 分钟即可完成模型修剪。

    Mar, 2022

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • 自我监督下的卷积神经网络剪枝

    通过使用标准剪枝方法，本文研究了基于自监督任务的无监督卷积神经网络是否可行，发现通过使用有标签的重新训练后，裁剪掉的子网络与未裁剪掉的子网络性能相近，并且剪枝方法可以在自监督和有监督学习中同样起作用，还发现剪枝可以保留自我监督子网络表示的传输性能。

    Jan, 2020