该论文提出了一种名为 EnD^2 的新方法，它使用 Prior Networks 对模型的输出分布进行建模，并使单个模型保留了集成模型减少计算成本和提高分类性能的同时，还能保留集合多样性的信息，用于估计不确定性。该方法不仅可适用于人工数据集，还取得了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上优于其他方法的成果。

Apr, 2019

本研究介绍了一种新方法 Deep Uncertainty Distillation using Ensembles for Segmentation (DUDES)，它能够高效地进行深度神经网络的预测不确定性估计，而不会牺牲性能，以解决自动驾驶、医学图像和机器视觉应用中模型可靠性不足的问题。

Mar, 2023

通过构建神经网络集成，可以更好地进行预测和不确定性估计，并将不确定性分解为数据不确定性和模型不确定性。本文提出了一种保持神经网络集成分解性质的蒸馏框架，其预测性能与标准蒸馏相当。

Feb, 2020

本研究考察了在大规模自然语言序列到序列数据中应用 Ensemble Distribution Distillation （EDD）来压缩昂贵的集成模型的优越性能为成本较低的单一模型的有效性，既能够分离知识（认识不一致性）和数据（随机数据）不确定性，还能解决大词汇量数据的复杂性，并在非分布式检测中表现出色。

May, 2023

该研究旨在通过修改知识蒸馏过程，获取计算有效的深度网络不确定性估计，并在包括以及超出分布样本中实现最先进的不确定性估计。

Jun, 2019

本研究通过采用贝叶斯观点，利用深度集成模型来捕捉多种情绪描述符，包括行动单位、离散表情标签和连续描述符，进而应用迭代自蒸馏技术，提出一种用于情绪识别的方法，并针对仅有单一情绪标签可用的情况下，实现情绪不确定性的建模和估计。实验结果表明，与 Temperature Scaling 和 Monte Carol Dropout 相比，我们的算法具有更可靠的不确定性估计。

Jul, 2021

探讨了深度学习模型集合如何提高测试准确率，以及如何使用知识蒸馏将集合的优越性能提取到单个模型中。并在此基础上，提出了一种新的理论，解释了在数据具有 “多视图” 结构的情况下，各自独立训练的神经网络集合确实可以明显提高测试准确率，而这种优越的效果也可以通过训练单个模型来匹配集合输出来证明，结果揭示了在深度学习中，集合模型以及 “黑暗知识” 是如何作用于知识蒸馏中的。最后，还证明了自身蒸馏也可以看作是隐式地组合集合模型和知识蒸馏以提高测试准确率。

Dec, 2020

本文介绍了一种相对简单易用的基于在线蒸馏的神经网络训练优化方法，该方法使得我们能够在使用大规模数据集时提升模型精度并提高训练速度，同时在成本较低的情况下显著提高模型的预测可复现性。

Apr, 2018

本研究探讨一种简单的正则化方法，用于将多个机器学习模型的集成逐一蒸馏到一个神经网络中，以达到保持多样性，精度和不确定性估计特性的目的。

May, 2022

通过训练和样本采集大量扩散模型的集合来准确估计表观不确定性（可以通过更多的训练数据来减少的不确定性）和内在不确定性（与手头任务相关的不确定性）在将机器学习（ML）应用于医学影像和天气预报等高风险应用的过程中至关重要。而在模型架构复杂性增加时，训练这样的集合变得计算上难以处理。本论文介绍了一种新的集合方法，称为超扩散，它允许使用单个模型准确估计表观和内在不确定性。不同于现有的基于蒙特卡洛 dropout 的单模型集合方法，超扩散提供了与多模型集合相同的预测准确性。我们在两个不同的任务上验证了我们的方法：X 射线计算机断层扫描（CT）重建和天气温度预测。

Feb, 2024