Aug, 2024

评估后验概率：决策理论、适当评分规则与校准

HTML
PDF
TL;DR本文针对当前机器学习分类器后验概率评估的不足，提出采用期望适当评分规则（PSRs）作为后验质量的主要评估指标，而非常用的校准度量（如期望校准误差，ECE）。研究发现，校准度量只能反映后验质量的一个方面，忽视了区分性能，而期望PSRs能够提供更全面的质量评估，具有重要的理论和实践意义。
发现论文，激发创造
  • 分类模型的校准评估

    研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

    Feb, 2019

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为“field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和AUC）以及所提出的“field-level calibration error”指标的校准性能得到了显著提高。

    May, 2019

  • 如何评估分类器的校准性：在特定上下文可靠性定义下的分类器校准性评估

    本文针对分类器标定的问题，提出以正确描述其应用背景为目的，开发更准确反映标定误差的更具表达力的度量标准；其中，基于期望标定误差的推广，提出了几种不同的度量标准，分别反映了针对不同的可靠性定义的标定误差；此外，基于这些不同的度量标准，作者对常用的神经网络结构和标定技术进行了广泛的实证评估，发现许多常用的标定技术在这些不同可靠性定义的标定误差上并未有统一的改善.

    May, 2022

  • 基于类别和降维的校准方法

    该研究提出了两种技术，一种是简化校准方法，将原问题转化为更简单的问题，并使用非参数重新校准方法进行解决，另一种是基于神经崩溃现象和大多数精确分类器可以被认为是K个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。

    Oct, 2022

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022

  • 适当校准误差的一致且渐近无偏估计

    提出了一种方法，可以一致且渐近无偏地估计所有适当的校准误差和改进术语，并验证了所提估计器的所述特性，并建议后续校准方法的选择应由所关注的特定校准误差决定。

    Dec, 2023

  • 从不确定性到精确性：通过校准提升二元分类器性能

    我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

    Feb, 2024

  • 重新评估机器学习模型的校准比较和改进方法

    机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。

    Jun, 2024

  • 分类器的概率分数：仅靠校准不足够

    本研究解决了二分类任务中传统校准指标失效的问题，强调了预测分数与真实概率分布之间的对齐重要性。通过优化树模型（如随机森林和XGBoost）以最小化Kullback-Leibler散度，研究表明这种方法能显著提高预测分数的可靠性，同时保持良好的性能表现。研究结果揭示了传统校准方法的局限性，强调了其在关键决策中的应用风险。

    Aug, 2024

  • 二元分类中的谨慎校准

    本研究解决了高风险场景中机器学习系统决策过程中校准概率不足的问题。提出的谨慎校准概念旨在为每个预测概率生成故意保守的估计，这种方法能有效降低过高估计带来的潜在风险。实验结果表明，该方法在提供谨慎估计方面表现出色，为该新框架的进一步发展奠定了坚实的基础。

    Aug, 2024