本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度（即层中通道的数量），从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化，可以在不同的宽度配置下进行训练，并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。

Dec, 2018

该论文提出了一种名为 “通用可变宽度神经网络” 的系统方法，将可变宽度神经网络扩展到任意宽度，提出了两种改进的训练技术，能够提高训练过程和测试准确性；作者在 ImageNet 分类任务、图像超分辨率和深度强化学习任务上评估了其方法，证明其有效性，同时打开了直接评估网络结构 FLOPs-Accuracy 谱的可能性。

Mar, 2019

本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

本文介绍了应用于小尺寸关键词检测问题的可调整神经网络。我们展示了可调整神经网络如何允许我们从卷积神经网络和 Transformer 创建超网络，从中可以提取不同尺寸的子网络。我们在本文中展示了这些模型的实用性，并重点关注设备上的用例，将自己限制在不到 250k 参数的范围内。我们展示了可调整模型可以匹配（甚至在某些情况下超过）从头开始训练的模型。因此，可调整神经网络是一类在不同的存储和计算预算以及不同的精度要求下复制相同功能特别有用的模型。

Apr, 2023

本文提出了一种名为 DS-Net 的动态可整合网络概念，它通过在测试时动态调整网络的卷积滤波器数量，从而实现好的硬件效率。同时，DS-Net 通过一种双头动态门的机制，具有动态推理的能力，并使用一种两阶段训练方案进行训练。实验结果表明，DS-Net 在 ImageNet 数据集上与 ResNet-50 和 MobileNet 模型相比，具有更高的计算性能和实际加速性能。

Mar, 2021

该研究提出了一种名为 AutoSlim 的单次解决方案，通过单轮迭代评估训练后的可裁剪模型并贪心地裁剪使准确度下降最小的层来获得不同资源限制下的优化通道配置，从而在 ImageNet 分类等任务中取得显著的性能提升。

Mar, 2019

本文提出了一种自由权重共享的策略 CafeNet 和一种减小搜索空间的方法来更好地评估每个网络宽度，该方法可以在 ImageNet、CIFAR-10、CelebA 和 MS COCO 数据集上进行验证，并被证明优于其他最先进的基线模型，特别是通过更精细地搜索其宽度，我们的方法可以进一步提高基准 NAS 网络 EfficientNet-B0 的性能 0.41%。

Feb, 2021

本研究提出了一种名为宽度转移的技术，旨在实现 CNN 的宽度优化，并在不影响训练成本的情况下，取得高于 ImageNet 的 top-1 精度，并显著减少优化宽度的计算开销，同时发现更好准确率的宽度在网络结构和训练数据的各个方面都与不变。

Apr, 2021

本文提出了一种名为 JASQ 的方法，将神经网络的架构设计与模型压缩两项任务整合到统一框架中，可在考虑模型大小与性能准确性之间的平衡点上使用多目标进化算法搜索，实现高性能适合移动设备的紧凑神经网络模型。实验结果表明，该方法在搜索架构或仅搜索量化策略时优于现有方法。

Nov, 2018

本文介绍了一种计算效率高的卷积神经网络微体系结构 Slim Module，用于设计轻量级深度神经网络 Slim-Net，以进行脸部属性预测，该模型通过将深度可分离卷积和逐点卷积组装为一个计算效率高的模块，通过堆叠这些 Slim 模块构建紧凑的 CNN 模型，并在 CelebA 数据集上进行了实验，结果表明 Slim-Net 比性能相当的方法少 25 倍的参数，且准确率高达 91.24%，减少了 87% 的内存存储需求。

Jul, 2019