二元分类中的谨慎校准
本文研究如何进行概率预测模型的准确校准和分类器的后处理方法，通过引入两种评估分类器校准程度的指标，并证明可以通过直方图分箱后处理方法来实现分类器的校准，同时维持其判别能力，实验证明该方法优于或与现有校准方法相当。
Jan, 2014
提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。
Jun, 2019
研究数据无任何分布性假设条件下，针对二分类问题的不确定性量化中的三种方法——标定、置信区间和预测集，建立了连接这三个概念的三角脚架，明确了使用基于评分函数的分类器才能进行无分布标定的必要条件。我们还推导了面向固定宽度和统一质量分组的二分类问题中的无分布概率分组方法的置信区间，这些区间可以导致无分布标定。此外，我们还推导了针对流数据和协变量转移的扩展。
Jun, 2020
本文通过理论证明和实验证明，在可实现的二元分类问题下，当数据由逻辑模型生成且样本量远大于参数个数时，对数回归具有固有的过度自信及其原因。作者还证明，存在其它激活函数和合适的损失函数，使得学习的分类器在某些概率值附近表现不足。
Feb, 2021
本文提出了一种新的概念——决策校准，指预测分布与真实分布在一组决策者下是“不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和ImageNet分类等领域中验证了该算法的有效性。
Jul, 2021
该研究提出了两种技术，一种是简化校准方法，将原问题转化为更简单的问题，并使用非参数重新校准方法进行解决，另一种是基于神经崩溃现象和大多数精确分类器可以被认为是K个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。
Oct, 2022
我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。
Feb, 2024
本文针对当前机器学习分类器后验概率评估的不足，提出采用期望适当评分规则（PSRs）作为后验质量的主要评估指标，而非常用的校准度量（如期望校准误差，ECE）。研究发现，校准度量只能反映后验质量的一个方面，忽视了区分性能，而期望PSRs能够提供更全面的质量评估，具有重要的理论和实践意义。
Aug, 2024