本文提出了一种新的多样性正则化方法,使用超出分布的样本并增加集成模型的整体准确性,校准性和对外部分布的检测能力。通过在 CIFAR-10、CIFAR-100 和 SVHN 上的实验证明了,多样性正则化对于校准性和稳健性以及外部分布检测具有显著影响。
Jan, 2022
本文研究了在数据稀缺的情况下使用深度学习时,数据增强、集成学习和后处理校准方法之间的相互作用,并表明深度集成不一定会导致改进校准性能,必须进行微调后的后处理才能有效地降低标准深度集成中的预期校准误差。
Jul, 2020
本文探讨了在深度神经网络中使用集成学习以及数据增强等技术,以提高 CIFAR10 和 CIFAR100 基准数据集的准确率和校准度。
提高机器学习模型的预测准确性和可靠性,本文提出了一种简化深度集成模型的方法,通过不同的误差计算方法来训练多个线性分类器,达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能,适用于组织病理图像和内镜图像的分类应用。
Mar, 2023
通过对集成方法进行扰动,可以增加模型多样性并提升性能。
Oct, 2021
本文研究了深度神经网络模型校准方面的现有问题,并发现这类模型存在大量 “几乎确定” 置信度,导致常常过于自信。同时,文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。
Jun, 2023
本文提出了一种使用反正则化和控制过程的方法,来解决深度集成网络中的过度自信估计问题,该方法不需要任何超参数校准,并在回归和分类设置中得到了验证。
Apr, 2023
本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法,该方法特别适用于数据限制和协变量转移,可显著提高模型的多样性和泛化性能。
Nov, 2019
本文研究了集成技术在机器学习中的广泛应用,特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上,通过神经网络集成进行了实证验证。
深度学习中的误校准问题是指预测的置信度与性能之间存在差异。我们提出一种叫做 Dynamic Regularization (DReg) 的方法,通过动态调整正则化以提高模型的可靠性,适应于超出模型能力范围的样本,在理论和实证分析中已证明其优于之前的方法。
Feb, 2024