本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的实验表明，这种方法能够在参数规模几乎是教师网络的十分之一的条件下，取得比教师网络更好的性能。

Dec, 2014

本文提出了一种宽架构、混合专家 (MoE) 替代前馈神经网络 (FFN) 的参数高效框架，通过参数共享以压缩深度，并使用独立的 layernorms 来转换各种语义表示，实验结果在多个计算机视觉和自然语言处理基准测试中表现优异，最佳模型能以 0.72 倍的可训练参数超越 Vision Transformer 1.5％、超越 ALBERT 1.8％平均表现和使用分解嵌入参数化的 BERT 0.8％。

Jul, 2021

通过对 ResNet 模块架构的详细实验研究，本文提出了一种新的网络架构 —— 宽残差网络 (WRNs)，通过降低深度、增加宽度优化 ResNet 网络，证明其在准确度和效率上优于传统的浅而深层的残差网络模型，实现了在 CIFAR, SVHN, COCO 以及 ImageNet 等数据集上的准确度和效率的新突破。

May, 2016

本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

该研究考虑在固定内存预算设置下，在训练单个宽网络或训练一组细网络之间，性能哪种更有效。研究发现，对于足够大的预算，采用内存分割，即训练一组较薄的网络，通常比训练单个宽网络更为有效。该发现被称为 “内存分割优势”，适用于各种数据集和模型架构。

May, 2020

本文介绍了一种基于 Tensor Ring Networks（TR-Nets）的神经网络压缩方法，通过在深度学习模型的全连接层和卷积层中应用该方法，能够显著地减少网络的计算和存储需求，且在保证模型准确率的前提下，能将模型的体积压缩数百倍，极大提升模型在资源受限设备上的可用性。

Feb, 2018

提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

Mar, 2018

在本文中，我们提出了许多包容性的全新的 Thin Sub-networks 架构，并通过强制在多分支网络参数上施加某些稀疏模式来训练它们，实现更高效的任意时间预测。我们在 ImageNet 数据集上进行的实验表明，相对于同等准确性的任意时间模型，其子网络可减少高达 43.3％的大小（FLOPs）

Jul, 2018

本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度（即层中通道的数量），从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化，可以在不同的宽度配置下进行训练，并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。

Dec, 2018

从一种大型的 ResNet152 骨干网络开始，本文通过将其从 51 个块降至 5 个块，将参数和 FLOPs 的数量降低了 6 倍以上，同时保留了性能，然后在 3 个块之后将模型分割为多个分支，创建一个子网络组合以提高性能。在 40 个图像分类数据集上的实验证明，本文的技术在与 “经典骨干微调” 相当甚至更好的性能的同时，实现了更小的模型尺寸和更快的推理速度。

Oct, 2023