通过设计对权重和超参数的模型集成来改进模型的性能，并提出了一种超参数深度集成和超批集成方法，能够在计算和存储成本方面比传统的集成方法更加高效，应用于 MLP、Lenet、ResNet 20 和 Wide ResNet 28-10 网络结构，达到了超越深度集成和批量集成的最佳性能表现。

Jun, 2020

本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

Apr, 2017

本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

Oct, 2017

本文介绍了一个名为 GENet 的深度卷积神经网络，其采用了共享基础和多头结构的技术，能够以单个 ConvNet 的计算量，实现多个 ConvNets 的集合学习，并提供了群组平均、群组摇摆和群组增强三种不同的策略来聚合这些集成成员，可以在 CIFAR 和 ImageNet 上优于更大的单个网络、更小的标准集合和其他最新的方法，并且在图像识别和物体检测任务上表现出良好的效果。

Jul, 2020

本文研究了模型集成作为一种提高在线持续学习性能和稳定性的方法，并且通过使用轻量级时间集成方法以及结合文献中的几种方法，我们表明该方法可以显着提高性能和稳定性。

Jun, 2023

WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

May, 2024

该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

Sep, 2018

本文研究使用 ensemble 方法来提高模型性能的有效性，实验结果表明，与单个模型相比，用 ensemble 组合模型在准确率和计算效率上有更好的表现，并提出 ensemble 模型作为模型推理速度和准确性之间的灵活权衡。

May, 2020

该研究通过探究多种集成方法，包括超级学习器等，运用人工神经网络在图像识别任务中进行设计多个实验，并进一步研究了神经网络的过度自信现象及其对集成方法的影响，并在所有实验中发现超级学习器是表现最佳的集成方法。

Apr, 2017

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020