Nov, 2015

使用一组近似等距回归模型进行二元分类器校准

HTML
PDF
TL;DR本文提出了一种名为 extit{ensemble of near isotonic regression} (ENIR) 的新型非参数校准方法，它能够扩展二元分类器输出校准的方法，并着重解决了在使用等单调回归的校准中存在的预测单调性假设限制，实验结果表明该方法在分类器输出校准能力的提高方面具有竞争力。
发现论文，激发创造
  • 二元分类器校准：非参数方法

    本文研究如何进行概率预测模型的准确校准和分类器的后处理方法，通过引入两种评估分类器校准程度的指标，并证明可以通过直方图分箱后处理方法来实现分类器的校准，同时维持其判别能力，实验证明该方法优于或与现有校准方法相当。

    Jan, 2014

  • 分类模型的校准评估

    研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

    Feb, 2019

  • 用于分类的非参数校准

    提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

    Jun, 2019

  • 超越温度缩放：使用狄利克雷校准获得良好校准的多类概率

    我们提出了一种原生的多类别校准方法，适用于来自任何模型类的分类器，来源于狄利克雷分布并推广了来自二元分类的贝塔校准方法。“通过实验，证明改进了概率预测。

    Oct, 2019

  • 无分布假设的二分类: 预测集, 置信区间和校准

    研究数据无任何分布性假设条件下，针对二分类问题的不确定性量化中的三种方法——标定、置信区间和预测集，建立了连接这三个概念的三角脚架，明确了使用基于评分函数的分类器才能进行无分布标定的必要条件。我们还推导了面向固定宽度和统一质量分组的二分类问题中的无分布概率分组方法的置信区间，这些区间可以导致无分布标定。此外，我们还推导了针对流数据和协变量转移的扩展。

    Jun, 2020

  • 基于类别和降维的校准方法

    该研究提出了两种技术，一种是简化校准方法，将原问题转化为更简单的问题，并使用非参数重新校准方法进行解决，另一种是基于神经崩溃现象和大多数精确分类器可以被认为是K个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。

    Oct, 2022

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022

  • 使用受ROCR平正则化的保序回归进行分类器校准

    机器学习分类器的校准是为了获得可靠且可解释的预测结果，本论文提出了一种新的广义各向同性回归方法，通过构建一个多维适应性分箱方案在概率空间中实现多类别的校准误差为零，并在实验证明了该方法能够在降低交叉熵损失和避免过拟合校准集之间取得平衡。

    Nov, 2023

  • 从不确定性到精确性：通过校准提升二元分类器性能

    我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

    Feb, 2024

  • 分类器的概率分数：仅靠校准不足够

    本研究解决了二分类任务中传统校准指标失效的问题，强调了预测分数与真实概率分布之间的对齐重要性。通过优化树模型（如随机森林和XGBoost）以最小化Kullback-Leibler散度，研究表明这种方法能显著提高预测分数的可靠性，同时保持良好的性能表现。研究结果揭示了传统校准方法的局限性，强调了其在关键决策中的应用风险。

    Aug, 2024