Sep, 2022

Sauron U-Net: 基于滤波器裁剪的医学图像分割自动冗余消除简化版

PDF
TL;DR本文介绍了一种名为 Sauron 的过滤裁剪方法，该方法通过调整层特定阈值丢弃相应的滤波器来消除冗余的特征图，并最小化一种正则化项，促进特征图聚类形成。该方法在医学图像分割任务中实现了比竞争修剪方法更高的性能和修剪率。
filter pruningregularizationfeature maps clustersmedical image segmentationperformance
发现论文，激发创造
  • 用于实时息肉分割的神经网络剪枝

    本研究使用神经网络修剪技术在息肉分割领域应用，通过计算卷积滤波器的重要性得分并移除得分最低的滤波器，有效减少参数数量和 FLOPs，而保持相似的精度。

    Jun, 2023

  • HRank：使用高阶特征图进行滤波器剪枝

    本文主要介绍了一种基于高级别特征的神经网络剪枝算法，该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率，达到了减少 FLOPs 和参数数量的效果，而且即使未更新的高级别特征权重对整体性能影响也很小。

    Feb, 2020

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • 裁剪内部层：一种用于高效 U-Net GAN 的结构化剪枝策略

    本研究通过分层修剪来压缩过度参数化的 U-Net 生成器，以用于图像到图像的翻译和语音驱动的说话人生成上，并呈现了学习结构化修剪内层的过滤器来提高效率的结果。

    Jun, 2022

  • 轻量化思路：自适应剪枝在医学图像分割中的 Transformer 优化

    本文提出应用自适应修剪技术来改进医学图像分割的 transformer 模型。我们的自适应修剪 transformer 的方法名为 APFormer。该模型使用自监督的自我注意机制和高斯先验相对位置嵌入来改进依赖信息建立。我们的实验表明，APFormer 在可用参数更少、GFLOPs 更低的情况下，是目前最好的模型之一，并证明了自适应修剪技术可以作为插入式模块，用于改进其他混合 / 变压器方法的性能。

    Jun, 2022

  • 是滤波剪枝，还是层剪枝，这是一个问题

    本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

    Jul, 2020

  • 用于 CNN 宽度优化的近似 Oracle 滤波消减

    本文提出了一种名为 Approximated Oracle Filter Pruning（AOFP）的滤波器裁剪方法，其可以自动化找到卷积神经网络中最不重要的滤波器，同时支持同时对多个层进行修剪，能够在可接受的时间成本内修剪现有的非常深的卷积神经网络，没有启发式知识，或重新设计一个具有更高准确性和更快推断的模型。

    May, 2019

  • 端到端基于敏感度的滤波剪枝

    本文提出了一种新颖的敏感度过滤剪枝算法（SbF-Pruner），可以通过端到端的方式学习每个层的过滤器重要性分数，从而生成性能更优异的稀疏子网络，并且完全不需要预先定义的超参数和层预算。

    Apr, 2022

  • RePr: 卷积滤波器的改进训练

    研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

    Nov, 2018

  • 利用冗余特征剪枝构建高效 ConvNets

    该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和 / 或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将 VGG-16 的推理成本降低 40％、ResNet-56 的推理成本降低 27％、ResNet-110 的推理成本减少 39％。

    Feb, 2018