这篇论文提出了第一个框架,统一了概率预测模型的校准评估和测试,并应用于分类和任意维度回归模型。
Oct, 2022
研究了概率分类器的不确定性表示和校准,提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。
Feb, 2019
提出了概率校准树,是一种修改后的逻辑模型树,它识别输入空间中的不同区域,在这些区域中学习不同的概率校准模型以提高性能。与等单调回归和 Platt 缩放方法相比,我们的方法的平均根均方误差更低,适用于各种基础学习器产生的概率估计。
Jul, 2018
通过 AdaCalib 模型的双重适应方法,我们可以根据后验统计信息学习保序函数族,进行精细校准,并确保后验概率适合于校准的场值。实验证明,AdaCalib 在校准性能上获得了显著的提高,可在线部署并超越先前的方法。
May, 2022
本文提出了一种名为 Posterior-Calibrated Training 的训练方法,直接优化目标,并最小化预测后验概率与经验后验概率的差异,从而在减小校准误差的同时提高任务性能。该方法对于任何类型的分类任务都能很好地适用。
Apr, 2020
本文介绍了一种新的分布校准方法,并提出了采用多输出高斯过程和 Beta 链接函数的方法来改善先前训练的回归模型的预测的后验方法。该方法得到了实验验证,并在分布层和分位数层面上均有所提高。
May, 2019
提出了一种调整分类器置信度估计的方法,使其接近正确分类的概率,该方法利用了潜在高斯过程的非参数表示,并针对多类分类进行了特别设计,适用于任何输出置信度估计的分类器,不限于神经网络,实验证明其性能强。
Jun, 2019
本篇论文提出一种基于 Platti scaling 和 temperature scaling 的直方图分块校准法,用于计算模型校准误差,并使用气象学中的估算器来更加准确地估计校准误差。作者在多类别校准实验中将缔合法的校准误差降低了 35%。
Sep, 2019
校准方法的研究提出了基于核的校准评估指标,将校准问题视为分布匹配任务,用于分类和回归,通过优化实证风险最小化的校准目标,在决策任务中提供了直观机制来量化指标和做出准确的损失估计和无悔决策,实验结果表明在一系列分类和回归任务中,这些指标作为正则化项能够提高校准度、预测的准确性以及决策能力,超过仅仅依靠事后校准的方法。
Oct, 2023
本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法,并发现正则化方法在概率校准和锐度之间提供有利的权衡,而修正方法具有更好的概率校准。同时,我们还展示了分位数校准可以被视为一种特定的修正方法,并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。
Jun, 2023