这篇论文提出了第一个框架,统一了概率预测模型的校准评估和测试,并应用于分类和任意维度回归模型。
Oct, 2022
本文提出了一种新的评估指标,称为 “field-level calibration error”,用于衡量决策者关注的敏感输入领域中预测偏差,提出了一种名为神经校准的后续校准方法,使用验证集中的领域感知信息进行校准,并通过实验证明其对常见度量(如负对数似然、布里尔分数和 AUC)以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
May, 2019
本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法,并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证,展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。
本文提出了一种新的概念 —— 决策校准,指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下,作者设计了一种重新校准算法,其样本复杂度多项式时间,并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。
Jul, 2021
本文探讨贝叶斯方法在不确定性问题上的推理方法,提出一种简单有效的校准程序,可以保证在足够的数据下,任何回归算法都能够产生准确的校准不确定性估计,并应用于贝叶斯线性回归、前向和递归神经网络中,能够稳定输出准确的区间预测,并提高时间序列预测和基于模型的强化学习性能。
Jul, 2018
介绍了一种框架,用于通过多重假设检验重新定义风险控制问题来校准机器学习模型,从而保证其预测结果符合明确的统计保证。
Oct, 2021
本论文探讨了在不同人群中最小化误差差异和维护校准概率估计之间的紧张关系,并表明校准只与单一误差约束兼容。
Sep, 2017
通过改进的测试程序,我们引入了一种新的基于改变点检测的校准测试方法,可以有效评估风险预测模型的准确性和算法的公平性。
Jul, 2023
本文从理论和实践出发,研究了一种将机器学习算法转化成概率预测器的方法,并保证其有效性和计算效率;理论上完全校准的概率预测器产生不精确的概率,但合并后的精确概率预测器相较于现有方法表现更准确。
Nov, 2015
本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法,并发现正则化方法在概率校准和锐度之间提供有利的权衡,而修正方法具有更好的概率校准。同时,我们还展示了分位数校准可以被视为一种特定的修正方法,并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。
Jun, 2023