本篇论文提出一种基于 Platti scaling 和 temperature scaling 的直方图分块校准法,用于计算模型校准误差,并使用气象学中的估算器来更加准确地估计校准误差。作者在多类别校准实验中将缔合法的校准误差降低了 35%。
Sep, 2019
我们分析了各种校准度量对分数失真的敏感性,并引入了一种精确的度量标准,即本地校准分数,比较了校准方法,提倡使用局部回归,强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现,使用随机森林分类器和回归器预测信用违约,并在性能优化过程中同时测量校准度。
Feb, 2024
文章讨论了多类别分类中的概率模型拟合和校准问题,并提出了一种基于矩阵核的估计器来解释校准度量的测试统计量。
Oct, 2019
这篇论文提出了第一个框架,统一了概率预测模型的校准评估和测试,并应用于分类和任意维度回归模型。
Oct, 2022
研究了概率分类器的不确定性表示和校准,提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。
Feb, 2019
本文探讨了机器学习分类器中出现的过度置信和欠置信问题,介绍了衡量分类器置信度的度量标准 —— 准确率校准度,以及该度量标准不足的缺点;进而进行了一项全面的实证研究,并开源了一种度量方法的库。实证研究发现,不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。
Apr, 2019
该研究提出了两种技术,一种是简化校准方法,将原问题转化为更简单的问题,并使用非参数重新校准方法进行解决,另一种是基于神经崩溃现象和大多数精确分类器可以被认为是 K 个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。
本文研究如何进行概率预测模型的准确校准和分类器的后处理方法,通过引入两种评估分类器校准程度的指标,并证明可以通过直方图分箱后处理方法来实现分类器的校准,同时维持其判别能力,实验证明该方法优于或与现有校准方法相当。
Jan, 2014
本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法,并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证,展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。
May, 2019
介绍了一种框架,用于通过多重假设检验重新定义风险控制问题来校准机器学习模型,从而保证其预测结果符合明确的统计保证。
Oct, 2021