本文提出一种称为模型切片的算法，通过将模型分割成多个组，使其能够在既定的计算资源预算内动态地提供预测结果，从而在有效地支持按需工作负载的基础上实现弹性推理成本。
Apr, 2019
本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。
Aug, 2019
深度学习模型大小的增长导致在内存和计算约束下寻找最优模型变得更加重要，该论文提出了 SortedNet，一种利用深度神经网络的内在模块化性质实现高效动态推断的通用可扩展解决方案。我们的训练方法考虑了子模型的嵌套架构和共享参数，并以排序和概率的方式一起训练主模型和子模型。在推断过程中，我们无需搜索即可选择子网络，并且生成的子网络具有最小的存储要求和高效的切换能力。实验证明该方法的有效性，同时在保持模型性能的情况下，演示了我们的方法在同时训练多达 160 个不同子模型的广泛可扩展性。
Sep, 2023
在本文中，我们提出了许多包容性的全新的 Thin Sub-networks 架构，并通过强制在多分支网络参数上施加某些稀疏模式来训练它们，实现更高效的任意时间预测。我们在 ImageNet 数据集上进行的实验表明，相对于同等准确性的任意时间模型，其子网络可减少高达 43.3％的大小（FLOPs）
Jul, 2018
本研究提出了一种名为动态网络手术的网络压缩方法，能够通过即时连接修剪显著降低网络复杂性，同时避免了错误裁剪的问题，并将其作为一个持续的网络维护过程，实验结果表明，该方法能够有效地压缩 LeNet-5 和 AlexNet 的参数数量，而不会损失精度，同时优于最近的裁剪方法。
Aug, 2016
提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。
Jun, 2020
基于大规模语言模型参数冗余的启发，我们提出了一种新的训练范式：进化子网络训练（EST），并将其应用于训练 GPT2 和 TinyLlama 模型，从而实现了 26.7％的 FLOPs 节省以及在下游任务中的性能提升，从而减少了训练成本并提高了泛化性能。
Jun, 2024
我们提出了一种资源有效的连续学习方法，称为弹性扩展网络（E2Net），通过核心子网络精简和精准回放样本选择，实现了卓越的平均准确性和降低遗忘，在相同的计算和存储限制条件下，同时最小化处理时间。
通过动态神经网络中的 skimming 这个研究方向，可以很好地解决预训练语言模型参数过多的问题，实现神经网络的有效扩展，为处理自然语言提供有效的支持。
Feb, 2022
本文提出了一种名为 DRESS 的新型训练算法，用于从同一主干网络中通过基于行的非结构稀疏性采样多个子网络，并通过加权损失并行训练这些子网络，以及利用参数重用和基于行的精细采样策略来实现高效存储和设备适应。在公共视觉数据集上的大量实验证明，DRESS 比最先进的子网络具有显着更高的准确性。
Jul, 2022