该论文提出了一种名为深度子集合（Deep Sub-Ensembles）的方法，通过仅对接近输出层的层进行集成，从而近似获得深度集合（Deep Ensembles）的模型不确定性， 在减少计算负担的同时，控制了误差和 NLL 的变化，来实现在误差和不确定性精度和计算性能之间的权衡。

Oct, 2019

该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和 MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

Jun, 2019

本文提出了一种适用于边缘设备的低成本方法 ——Tiny-Deep Ensemble 方法，用于不确定性估计。该方法通过进行多次归一化层集成而不需要额外的存储空间和延迟，从而显著降低了存储需求和延迟，同时保持了与单模型相近的内存开销，并在各种基准数据集、任务和最先进的架构中提高了推理准确性。

May, 2024

本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

Jul, 2024

本文提出了一种基于序列推理过程的集成学习方法，通过逐步筛选难度较大的样本，动态调整模型的推理集成过程，从而同时优化推理的有效性和效率，实现了 56% 推理成本的减少，而维持与全集成模型相当的性能。

Jan, 2023

本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Dec, 2016

本文提出两种构建神经网络集合的方法，使用不同的体系结构，以细化预测结果并利用架构变化作为集合的差异性的来源，并在多个分类任务和现代架构搜索空间方面表现优于深度集成。

Jun, 2020

通过理论分析和经验验证，在深度神经网络中，过拟合发生时，分类器之间的差异性增加。受此结果的指导，我们提出了一种新的基于集成的预测方法，以对抗过拟合。该方法通过选择训练过程中最一致的预测结果来确定最终预测，有效消除了过拟合对模型泛化性能的不利影响，甚至在性能上超过了早停止方法。这种易于实现、可与任何训练方案和架构集成的方法，不需要额外的先验知识，因此是克服过拟合问题的实用和有用工具。

Oct, 2023

本文介绍了一种新的深度学习模型 ——Masksembles，它是 Deep Ensembles 和 MC-Dropout 的结合体，通过固定数量的二元掩码，控制模型之间的相关性，以较小的代价实现与 Ensembles 相当的性能。

Dec, 2020

探讨如何将集成学习不确定性估计方法应用于全景分割领域，以提高现有网络的性能并为其预测结果提供更好的不确定性度量。

Apr, 2023