CVPRMar, 2021

流形正则化动态网络剪枝

PDF
TL;DR本论文提出了一种新的范式，通过将所有实例的流形信息嵌入到裁剪网络的空间中 (称为 ManiDP)，以动态地去除冗余的过滤器以最大化挖掘给定网络架构中的冗余。在几个基准测试中验证了所提出的方法的有效性，在精度和计算成本方面显示出与现有技术方法相比更好的性能可将 ResNet-34 的 FLOP 降低 55.3％，且仅仅减少 0.57％的 Top-1 精度，ImageNet。
发现论文，激发创造
  • 深度神经网络内存高效训练的流形正则化

    本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

    May, 2023

  • 深度网络剪枝：关于人脸识别中 CNN 的比较研究

    通过深度网络剪枝等方法，对基于小型 SqueezeNet、流行的 MobileNetv2 和 ResNet50 架构的网络进行压缩，以实现移动设备上的可靠且实时的人脸识别。

    May, 2024

  • 利用冗余特征剪枝构建高效 ConvNets

    该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和 / 或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将 VGG-16 的推理成本降低 40％、ResNet-56 的推理成本降低 27％、ResNet-110 的推理成本减少 39％。

    Feb, 2018

  • LDMNet: 低维流形正则化神经网络

    通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

    Nov, 2017

  • DHP: 通过超网实现可微元剪枝

    本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。

    Mar, 2020

  • PDP: 无需参数的可导修剪就是你所需的

    提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning（PDP），可适用于各种视觉和自然语言任务，支持无结构裁剪约束，基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。

    May, 2023

  • 使用对抗样本的流形正则化深度神经网络

    提出一种新的深度神经网络训练目标函数，叫做流形规范网络（MRnet），通过最小化样本和对抗样本的多层嵌入结果之间的差异来提高对抗性鲁棒性，实验结果表明 MRnet 更具有对抗性鲁棒性，并帮助我们在流形上推广表示。此外将 MRnet 和 dropout 相结合，为三个著名的基准测试数据集（MNIST，CIFAR-10 和 SVHN）实现了有竞争的分类性能。

    Nov, 2015

  • 针对深度模型压缩的鉴别感知网络裁剪

    该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。

    Jan, 2020

  • 卷积神经网络结构冗余减少的剪枝

    本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

    Apr, 2021

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020