Mar, 2019

AutoSlim：一种用于通道数量一次性架构搜索的方法

PDF
TL;DR该研究提出了一种名为 AutoSlim 的单次解决方案，通过单轮迭代评估训练后的可裁剪模型并贪心地裁剪使准确度下降最小的层来获得不同资源限制下的优化通道配置，从而在 ImageNet 分类等任务中取得显著的性能提升。
neural networkschannel configurationsresource constraintsautoslimimagenet classification
发现论文，激发创造
  • 可压缩神经网络

    本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度（即层中通道的数量），从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化，可以在不同的宽度配置下进行训练，并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。

    Dec, 2018

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017

  • AOWS: 自适应和优化的网络宽度搜索及延迟限制

    本研究提出了一种高效的一次性神经结构搜索方法，通过优化搜索通道数以求在特定硬件上的延迟限制下，获得较好的神经结构性能，并通过适应性通道策略逐步满足目标计算约束。在 ImageNet 分类的实验中，该方法可以找到符合资源约束的网络解决方案，同时提高了有效网络的准确性，展示出新的颖展性。

    May, 2020

  • 通用可变宽度网络和改进的训练技术

    该论文提出了一种名为 “通用可变宽度神经网络” 的系统方法，将可变宽度神经网络扩展到任意宽度，提出了两种改进的训练技术，能够提高训练过程和测试准确性；作者在 ImageNet 分类任务、图像超分辨率和深度强化学习任务上评估了其方法，证明其有效性，同时打开了直接评估网络结构 FLOPs-Accuracy 谱的可能性。

    Mar, 2019

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 超低均匀精度量化的自动网络适应

    该论文提出了一种神经网络架构搜索方法 —— 神经通道扩展，该方法可以适应不同层对于量化误差的敏感度，并在满足硬件约束的情况下，有选择性地扩展量化敏感的层的通道数，从而实现在 CIFAR10 和 ImageNet 数据集上的 2 位量化最佳精度，并在较小的 FLOPs 和参数大小下取得了迄今为止最高的 ResNet50 Top-1 / Top-5 准确率。

    Dec, 2022

  • 使用 Gumbel Softmax 进行通道选择

    论文提出了一种端到端的神经网络优化框架，通过同时考虑分类误差和批量激活损失，使用 Gumbel 重参数化来学习网络结构，在训练和推理中均能支持网络修剪与条件计算，实验结果在 ImageNet 分类任务中获得了 45-52% 的计算量降低。

    Dec, 2018

  • Joslim: 用于可变宽度神经网络的联合宽度和权重优化

    提出了一种通用框架来在宽度配置和权重优化方面实现可配宽度网络的联合优化，并引入了一种名为 Joslim 的算法，该算法在各种网络、数据集和目标优化中均优于现有方法，最大化提高了各种配置下的效率和准确率。

    Jul, 2020

  • 动态可裁剪网络

    本文提出了一种名为 DS-Net 的动态可整合网络概念，它通过在测试时动态调整网络的卷积滤波器数量，从而实现好的硬件效率。同时，DS-Net 通过一种双头动态门的机制，具有动态推理的能力，并使用一种两阶段训练方案进行训练。实验结果表明，DS-Net 在 ImageNet 数据集上与 ResNet-50 和 MobileNet 模型相比，具有更高的计算性能和实际加速性能。

    Mar, 2021

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

    Nov, 2021