本文提出了一种用有限的训练资源制造多个性价比高的稀疏神经网络子网络，并将它们叠加在一起形成一个更加强大的子网络的新型稀疏训练方法 Sup-tickets，该方法可以同时满足在标准训练时间内有效地生成多个低损失子网络和有效地将这些低成本子网络叠加成一个更强的子网络的两个愿望。在 CIFAR-10/100 和 ImageNet 等各种现代架构上展示了 Sup-tickets 的一致性性能改进。

May, 2022

本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

Apr, 2017

本文提出一种名为 “Prune and Tune” 的方法，通过剪枝单个神经网络的参数创建多个包含不同拓扑结构的成员作为集成，最终使得训练集成成员的代价明显降低同时准确率不降反升，主要应用于 CIFAR-10 和 CIFAR-100 数据集。

Feb, 2022

本文提出了 Multi-Ticket Ensemble 方法，该方法通过针对单个预训练模型的不同子网络进行微调并将它们集成，以增加预测结果的多样性，并在一些任务上取得了优于标准集成的效果。

May, 2022

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020

本研究提出一种名为 Lottery Pools 的方法，通过直接平均相邻权重和简单插值策略等优化，以更低的训练和推理成本获得更强的稀疏子网络，进而在各种现代架构上均有效提升了性能。

Aug, 2022

本文提出两种新颖的在对抗训练期间注入适当稀疏形式的方法，即：通过利用最近的彩票假设的结果识别早期训练中出现的关键稀疏子网络来实现静态稀疏，以及通过在训练期间使稀疏子网络自适应调整其连接模式（同时保持相同的稀疏比率）来实现动态稀疏，并发现这两种新方法都可以显著缩减稳健泛化差距和减轻过度拟合，同时大大减少训练和推理的 FLOPs，实验证明此方法在各种数据集上有着显著作用，包括 CIFAR-10/100 和 Tiny-ImageNet。

Feb, 2022

本论文介绍了一种低成本框架用于构建子网络集合，通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合，研究发现该方法可以显著提高训练效率、参数利用以及泛化性能，同时最小化计算成本，通过利用深度神经网络的潜力来构建更好的系统。

Nov, 2023

该论文提出了一种名为深度子集合（Deep Sub-Ensembles）的方法，通过仅对接近输出层的层进行集成，从而近似获得深度集合（Deep Ensembles）的模型不确定性， 在减少计算负担的同时，控制了误差和 NLL 的变化，来实现在误差和不确定性精度和计算性能之间的权衡。

Oct, 2019

该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

Sep, 2018