多类别分类中的校准测试:一个统一的框架
该研究提出了两种技术,一种是简化校准方法,将原问题转化为更简单的问题,并使用非参数重新校准方法进行解决,另一种是基于神经崩溃现象和大多数精确分类器可以被认为是 K 个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。
Oct, 2022
提出了一种调整分类器置信度估计的方法,使其接近正确分类的概率,该方法利用了潜在高斯过程的非参数表示,并针对多类分类进行了特别设计,适用于任何输出置信度估计的分类器,不限于神经网络,实验证明其性能强。
Jun, 2019
本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法,并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证,展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。
May, 2019
本文提出了一种新的概念 —— 决策校准,指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下,作者设计了一种重新校准算法,其样本复杂度多项式时间,并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。
Jul, 2021
本文提出了一种新的评估指标,称为 “field-level calibration error”,用于衡量决策者关注的敏感输入领域中预测偏差,提出了一种名为神经校准的后续校准方法,使用验证集中的领域感知信息进行校准,并通过实验证明其对常见度量(如负对数似然、布里尔分数和 AUC)以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
May, 2019
校准方法的研究提出了基于核的校准评估指标,将校准问题视为分布匹配任务,用于分类和回归,通过优化实证风险最小化的校准目标,在决策任务中提供了直观机制来量化指标和做出准确的损失估计和无悔决策,实验结果表明在一系列分类和回归任务中,这些指标作为正则化项能够提高校准度、预测的准确性以及决策能力,超过仅仅依靠事后校准的方法。
Oct, 2023