Jun, 2020

无分布假设的二分类: 预测集, 置信区间和校准

HTML
PDF
TL;DR研究数据无任何分布性假设条件下，针对二分类问题的不确定性量化中的三种方法——标定、置信区间和预测集，建立了连接这三个概念的三角脚架，明确了使用基于评分函数的分类器才能进行无分布标定的必要条件。我们还推导了面向固定宽度和统一质量分组的二分类问题中的无分布概率分组方法的置信区间，这些区间可以导致无分布标定。此外，我们还推导了针对流数据和协变量转移的扩展。
发现论文，激发创造
  • 二元分类器校准：非参数方法

    本文研究如何进行概率预测模型的准确校准和分类器的后处理方法，通过引入两种评估分类器校准程度的指标，并证明可以通过直方图分箱后处理方法来实现分类器的校准，同时维持其判别能力，实验证明该方法优于或与现有校准方法相当。

    Jan, 2014

  • 超越温度缩放：使用狄利克雷校准获得良好校准的多类概率

    我们提出了一种原生的多类别校准方法，适用于来自任何模型类的分类器，来源于狄利克雷分布并推广了来自二元分类的贝塔校准方法。“通过实验，证明改进了概率预测。

    Oct, 2019

  • 基于互信息最大化分箱的多分类不确定性校准

    本研究提出了一种基于信息论的I-Max binning方法和共享类别标定的策略，旨在解决直方图划分方法在分级准确性和样本效率方面的局限，提供高质量多类别排名和校准估计。

    Jun, 2020

  • 无需样本拆分的直方图分箱分布自由校准保证

    本文提出了针对Zadrozny和Elkan [2001]的常用的直方图分箱（也称为均匀质量分箱）方法的校准保证。作者分析了双倍数据的原始方法的实用性，并使用一定的统计学性质证明了直方图分箱方法的校准保证。作者提出了新的工具-validity plots，用于评估校准并提出了实用建议。

    May, 2021

  • 一个温和的介绍：拟合预测及无分布不确定性量化

    介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成100%正确性置信区间（信赖区间）的方法， 称之为一致预测；并提供了Python示例代码和Jupyter笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

    Jul, 2021

  • MBCT: 面向特征的基于树的分箱方法用于个体不确定性校准

    本文提出了一种称为多项提升校准树（MBCT）的特征感知分箱框架，针对机器学习分类器中缺乏对校准精度的处理，该校准过程通过学习多维特征，实现了非单调且可提升预测准确性的分箱校准方法。

    Feb, 2022

  • 分类器的最小风险校准

    该文介绍了最小风险校准的概念，并在均方误差分解的框架下提出一种校准概率分类器的原则方法，并提出了一种解决标签漂移挑战的两阶段方法。

    May, 2023

  • 二元分类的回归函数的无分布推断

    该论文介绍了一个重新采样框架，用于构建精确、无分布偏差且非渐近保证的真实回归函数置信区间，以适应用户选择的信赖水平，并提出了具体算法以演示该框架。通过数值实验验证了算法，并将其与近似渐近保证的置信椭球进行比较。

    Aug, 2023

  • 关于计算效率的多分类校准

    我们提出一种多类别标签问题的校准方法，通过多项式时间和样本复杂度来高效校准预测器，以获得对二元分类问题的强有力保证。

    Feb, 2024

  • 二元分类中的谨慎校准

    本研究解决了高风险场景中机器学习系统决策过程中校准概率不足的问题。提出的谨慎校准概念旨在为每个预测概率生成故意保守的估计，这种方法能有效降低过高估计带来的潜在风险。实验结果表明，该方法在提供谨慎估计方面表现出色，为该新框架的进一步发展奠定了坚实的基础。

    Aug, 2024