从集成学习中学习时,多样性非常重要
通过构建神经网络集成,可以更好地进行预测和不确定性估计,并将不确定性分解为数据不确定性和模型不确定性。本文提出了一种保持神经网络集成分解性质的蒸馏框架,其预测性能与标准蒸馏相当。
Feb, 2020
该论文提出了一种名为 EnD^2 的新方法,它使用 Prior Networks 对模型的输出分布进行建模,并使单个模型保留了集成模型减少计算成本和提高分类性能的同时,还能保留集合多样性的信息,用于估计不确定性。该方法不仅可适用于人工数据集,还取得了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上优于其他方法的成果。
Apr, 2019
探讨了深度学习模型集合如何提高测试准确率,以及如何使用知识蒸馏将集合的优越性能提取到单个模型中。并在此基础上,提出了一种新的理论,解释了在数据具有 “多视图” 结构的情况下,各自独立训练的神经网络集合确实可以明显提高测试准确率,而这种优越的效果也可以通过训练单个模型来匹配集合输出来证明,结果揭示了在深度学习中,集合模型以及 “黑暗知识” 是如何作用于知识蒸馏中的。最后,还证明了自身蒸馏也可以看作是隐式地组合集合模型和知识蒸馏以提高测试准确率。
Dec, 2020
深度学习中用深度集成方法提升神经网络的鲁棒性能,在大规模图片数据集中使用互信息指标 (OOD)的检测效果比单一模型的熵指标要劣 30-40%,使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。
Jul, 2022
本文阐述了集成学习的一些基本概念,研究了如何优化集成学习的多样性来对抗敌对攻击,并提供了一些算法来学习如何生成高精度的集成预测。
Aug, 2019
本文探讨了从预训练模型中创建集成模型的不同方法,并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中(视觉任务适应基准),即使从超过 2000 个预训练模型中进行选择,其实现了具有较低推理预算的最先进性能,并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。
Oct, 2020