Aug, 2024

分类器的概率分数：仅靠校准不足够

HTML
PDF
TL;DR本研究解决了二分类任务中传统校准指标失效的问题，强调了预测分数与真实概率分布之间的对齐重要性。通过优化树模型（如随机森林和XGBoost）以最小化Kullback-Leibler散度，研究表明这种方法能显著提高预测分数的可靠性，同时保持良好的性能表现。研究结果揭示了传统校准方法的局限性，强调了其在关键决策中的应用风险。
发现论文，激发创造
  • 概率校准树

    提出了概率校准树，是一种修改后的逻辑模型树，它识别输入空间中的不同区域，在这些区域中学习不同的概率校准模型以提高性能。与等单调回归和Platt缩放方法相比，我们的方法的平均根均方误差更低，适用于各种基础学习器产生的概率估计。

    Jul, 2018

  • 分类模型的校准评估

    研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

    Feb, 2019

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为“field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和AUC）以及所提出的“field-level calibration error”指标的校准性能得到了显著提高。

    May, 2019

  • 多类别分类中的校准测试：一个统一的框架

    文章讨论了多类别分类中的概率模型拟合和校准问题，并提出了一种基于矩阵核的估计器来解释校准度量的测试统计量。

    Oct, 2019

  • 基于类别和降维的校准方法

    该研究提出了两种技术，一种是简化校准方法，将原问题转化为更简单的问题，并使用非参数重新校准方法进行解决，另一种是基于神经崩溃现象和大多数精确分类器可以被认为是K个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。

    Oct, 2022

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022

  • 从不确定性到精确性：通过校准提升二元分类器性能

    我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

    Feb, 2024

  • 重新评估机器学习模型的校准比较和改进方法

    机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。

    Jun, 2024

  • 评估后验概率：决策理论、适当评分规则与校准

    本文针对当前机器学习分类器后验概率评估的不足，提出采用期望适当评分规则（PSRs）作为后验质量的主要评估指标，而非常用的校准度量（如期望校准误差，ECE）。研究发现，校准度量只能反映后验质量的一个方面，忽视了区分性能，而期望PSRs能够提供更全面的质量评估，具有重要的理论和实践意义。

    Aug, 2024

  • 二元分类中的谨慎校准

    本研究解决了高风险场景中机器学习系统决策过程中校准概率不足的问题。提出的谨慎校准概念旨在为每个预测概率生成故意保守的估计，这种方法能有效降低过高估计带来的潜在风险。实验结果表明，该方法在提供谨慎估计方面表现出色，为该新框架的进一步发展奠定了坚实的基础。

    Aug, 2024