本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度（即层中通道的数量），从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化，可以在不同的宽度配置下进行训练，并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。

Dec, 2018

提出了一种通用框架来在宽度配置和权重优化方面实现可配宽度网络的联合优化，并引入了一种名为 Joslim 的算法，该算法在各种网络、数据集和目标优化中均优于现有方法，最大化提高了各种配置下的效率和准确率。

Jul, 2020

本文提出了一种名为 DS-Net 的动态可整合网络概念，它通过在测试时动态调整网络的卷积滤波器数量，从而实现好的硬件效率。同时，DS-Net 通过一种双头动态门的机制，具有动态推理的能力，并使用一种两阶段训练方案进行训练。实验结果表明，DS-Net 在 ImageNet 数据集上与 ResNet-50 和 MobileNet 模型相比，具有更高的计算性能和实际加速性能。

Mar, 2021

我们提出了一种称为 US3L 的普遍可裁剪自监督学习方法，它通过确保从统一的梯度视角下的时间一致性来在不同设备上部署自监督模型时实现更好的准确性 - 效率权衡，并通过动态抽样和群组正则化策略同时提高训练效率和准确性。在卷积神经网络和视觉变换器上，我们的方法通过一次训练和一个权重副本就能胜过各种最先进的方法（单独训练或不训练），在识别、目标检测和实例分割等基准测试上进行了经验证明。

Mar, 2023

本文介绍了应用于小尺寸关键词检测问题的可调整神经网络。我们展示了可调整神经网络如何允许我们从卷积神经网络和 Transformer 创建超网络，从中可以提取不同尺寸的子网络。我们在本文中展示了这些模型的实用性，并重点关注设备上的用例，将自己限制在不到 250k 参数的范围内。我们展示了可调整模型可以匹配（甚至在某些情况下超过）从头开始训练的模型。因此，可调整神经网络是一类在不同的存储和计算预算以及不同的精度要求下复制相同功能特别有用的模型。

Apr, 2023

本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

该研究提出了一种名为 AutoSlim 的单次解决方案，通过单轮迭代评估训练后的可裁剪模型并贪心地裁剪使准确度下降最小的层来获得不同资源限制下的优化通道配置，从而在 ImageNet 分类等任务中取得显著的性能提升。

Mar, 2019

提出一种单卷积神经网络通用的方法，在推理时可以切换图像分辨率，从而可以选择满足各种计算资源限制的运行速度。用该方法训练的网络称为分辨率切换网络（RS-Nets）。通过多分辨率蒸馏和知识蒸馏，RS-Nets 在各种分辨率下的准确性得到了提高。

Jul, 2020

提出了宽度 - 分辨率互学习方法 MutualNet，通过训练不同宽度的多个子网络来实现自适应准确性和效率之间的权衡，最终在不同计算约束下，通过互学习获得更好的 ImageNet top-1 精度。

Sep, 2019

本篇论文介绍了一种基于可逆 U-Net 结构的新型网络 iUNet，它采用了新颖的可学习可逆上下采样操作，可以在同样的 GPU 存储限制下，训练更深更大的网络，并用于建立正则化流模型。

May, 2020