深入实验和分析,提出了温度缩放法的简单有效性,可以解决现代神经网络中分类器的置信度校准问题。
Jun, 2017
本文研究了神经网络模型的预测不确定性及其校准问题,并发现不使用卷积层的最新模型的校准性能最好,模型大小和预训练量并不能完全解释这些差异,表明模型架构是影响校准性能的主要因素。
Jun, 2021
本文提出了一种新的校准方法,旨在提高神经网络在医学领域图像分类任务中的不确定性量化能力,该方法基于期望校准误差作为量化神经网络不确定性的公共度量,可以作为辅助损失项轻松地集成到任何分类任务中,从而显著降低分类误差。
Sep, 2020
本文研究了在数据稀缺的情况下使用深度学习时,数据增强、集成学习和后处理校准方法之间的相互作用,并表明深度集成不一定会导致改进校准性能,必须进行微调后的后处理才能有效地降低标准深度集成中的预期校准误差。
Jul, 2020
深度聚类存在过度自信问题,本研究开创性地提出了一个校准深度聚类框架,通过引入一个新的双头深度聚类流程来有效校准预测的置信度和实际准确性,通过规范化方法调整聚类流程中过度自信的预测,动态选择可靠的高置信度样本进行训练,并引入一种有效的网络初始化策略,提高训练速度和网络鲁棒性。广泛实验证明,该校准深度聚类框架在期望校准误差方面超过了最先进的深度聚类方法约 10 倍,并在聚类准确性方面显著优于它们。
Mar, 2024
我们提出了一种基于多类对齐预测均值置信度和预测确定度(MACC)的新的训练时校准方法,通过鼓励模型在预 softmax 分布中提供低(或高)扩散,从而达到了领域内和领域外预测的最先进校准性能。
Sep, 2023
研究表明,机器学习模型的置信度校准常常忽略距离偏差问题,即在低接近度数据(即分布稀疏的区域)上比在高接近度样本上更容易过度自信,进而导致不一致的误校准。基于此,该研究提出了一种名为 ProCal 的插件式算法,具有调整样本置信度的理论保障。结果表明,ProCal 在各种模型结构下在平衡、长尾和分布偏移情况下都能有效缓解距离偏差问题并改善校准。
Jun, 2023
提出了一种调整分类器置信度估计的方法,使其接近正确分类的概率,该方法利用了潜在高斯过程的非参数表示,并针对多类分类进行了特别设计,适用于任何输出置信度估计的分类器,不限于神经网络,实验证明其性能强。
Jun, 2019
本文探讨了深度神经网络中不确定性校准问题,并提出了一种针对域偏移的后处理校准方法,其通过对验证集的样本进行扰动,可大幅提高模型的校准性能。
Dec, 2020
通过将混合样本与标签训练,混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果,并且得到了更好的预测可靠性,表现为更好的校准性和更少的过于自信的预测。
May, 2019