Beta-Rank: 一种用于不平衡医学图像分析的强大卷积滤波器剪枝方法

Apr, 2023

Beta-Rank: 一种用于不平衡医学图像分析的强大卷积滤波器剪枝方法

Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced Medical Image Analysis

Morteza Homayounfar, Mohamad Koohi-Moghadam, Reza Rawassizadeh, Varut Vardhanabhuti

TL;DR这篇论文提出了一种新的滤波器剪枝方法，它能够有效地减少深度神经网络所需要的计算资源，同时通过与其他方法的比较和在医学数据集和智能手机应用程序上尝试验证，表明本文提出的方法表现得更好。

Abstract

As deep neural networks include a high number of parameters and operations, it can be a challenge to implement these models on devices with limited computational resources. Despite the development of novel pruning methods toward resource-efficient models, it has become evident that the

neural networks filter pruning resource efficiency medical datasets smartphone app

发现论文，激发创造

HRank：使用高阶特征图进行滤波器剪枝

本文主要介绍了一种基于高级别特征的神经网络剪枝算法，该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率，达到了减少 FLOPs 和参数数量的效果，而且即使未更新的高级别特征权重对整体性能影响也很小。

Feb, 2020

通过学习全局排序实现高效模型压缩

该论文提出了一种新的卷积神经网络滤波器裁剪算法，名为 LeGR，通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络，且相比于之前的方法，LeGR 可以在保持性能的情况下快 2-3 倍。

Apr, 2019

高效保留模型准确性的自动神经网络剪枝

本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

Nov, 2021

训练期间自适应排名谱剪枝卷积层

本文提出一种基于张量 Tucker 分解的低参数训练方法，通过自适应剪枝卷积核的 Tucker 秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。

May, 2023

用于实时息肉分割的神经网络剪枝

本研究使用神经网络修剪技术在息肉分割领域应用，通过计算卷积滤波器的重要性得分并移除得分最低的滤波器，有效减少参数数量和 FLOPs，而保持相似的精度。

Jun, 2023

面向资源受限的卷积神经网络的分层补偿剪枝

本研究提出一种新算法 —— 层补偿剪枝，采用元学习来确定更优的解决方案，成功将网络剪枝后的准确度降低到 0.7%，且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。

Oct, 2018

Play and Prune: 适应性滤波剪枝用于深度模型压缩

本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

May, 2019

RePr: 卷积滤波器的改进训练

研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

Nov, 2018

一种基于熵的 CNN 压缩剪枝方法

本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

Jun, 2017

深度卷积神经网络的可塑性：从随机修剪中恢复

本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

Jan, 2018