Feb, 2024

从不确定性到精确性：通过校准提升二元分类器性能

PDF
TL;DR我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。
binary classifier performanceuncertaintycalibration measureslocal regressionscredit default prediction
发现论文，激发创造
  • 深度学习中的校准度量

    本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

    Apr, 2019

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022

  • 利用不确定性估计来提高分类器性能

    模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

    Nov, 2023

  • 回归任务中的不确定性预测评估和校准

    本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

    May, 2019

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 分类模型的校准评估

    研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

    Feb, 2019

  • 基于分布匹配的校准：可训练核校准度量

    校准方法的研究提出了基于核的校准评估指标，将校准问题视为分布匹配任务，用于分类和回归，通过优化实证风险最小化的校准目标，在决策任务中提供了直观机制来量化指标和做出准确的损失估计和无悔决策，实验结果表明在一系列分类和回归任务中，这些指标作为正则化项能够提高校准度、预测的准确性以及决策能力，超过仅仅依靠事后校准的方法。

    Oct, 2023

  • 二元分类器校准：非参数方法

    本文研究如何进行概率预测模型的准确校准和分类器的后处理方法，通过引入两种评估分类器校准程度的指标，并证明可以通过直方图分箱后处理方法来实现分类器的校准，同时维持其判别能力，实验证明该方法优于或与现有校准方法相当。

    Jan, 2014

  • 在对抗性攻击下实现不确定性校准的认证

    神经分类器对扰动敏感，证书方法提供对其预测的扰动不敏感性的可证明保证，而模型的置信度在安全关键应用中尤为重要。我们证明了攻击可以严重影响置信度，并提出了对置信度的最坏情况下的证书校准作为对抗性扰动下的置信度的界限。最后，我们提出了新的校准攻击，并展示了通过对抗性校准训练如何改善模型的校准性能。

    May, 2024

  • 分类器的最小风险校准

    该文介绍了最小风险校准的概念，并在均方误差分解的框架下提出一种校准概率分类器的原则方法，并提出了一种解决标签漂移挑战的两阶段方法。

    May, 2023