二元分类器校准:非参数方法
本篇论文提出一种基于 Platti scaling 和 temperature scaling 的直方图分块校准法,用于计算模型校准误差,并使用气象学中的估算器来更加准确地估计校准误差。作者在多类别校准实验中将缔合法的校准误差降低了 35%。
Sep, 2019
该研究提出了两种技术,一种是简化校准方法,将原问题转化为更简单的问题,并使用非参数重新校准方法进行解决,另一种是基于神经崩溃现象和大多数精确分类器可以被认为是 K 个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。
Oct, 2022
提出了一种调整分类器置信度估计的方法,使其接近正确分类的概率,该方法利用了潜在高斯过程的非参数表示,并针对多类分类进行了特别设计,适用于任何输出置信度估计的分类器,不限于神经网络,实验证明其性能强。
Jun, 2019
研究数据无任何分布性假设条件下,针对二分类问题的不确定性量化中的三种方法 —— 标定、置信区间和预测集,建立了连接这三个概念的三角脚架,明确了使用基于评分函数的分类器才能进行无分布标定的必要条件。我们还推导了面向固定宽度和统一质量分组的二分类问题中的无分布概率分组方法的置信区间,这些区间可以导致无分布标定。此外,我们还推导了针对流数据和协变量转移的扩展。
Jun, 2020
我们分析了各种校准度量对分数失真的敏感性,并引入了一种精确的度量标准,即本地校准分数,比较了校准方法,提倡使用局部回归,强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现,使用随机森林分类器和回归器预测信用违约,并在性能优化过程中同时测量校准度。
Feb, 2024
提出了概率校准树,是一种修改后的逻辑模型树,它识别输入空间中的不同区域,在这些区域中学习不同的概率校准模型以提高性能。与等单调回归和 Platt 缩放方法相比,我们的方法的平均根均方误差更低,适用于各种基础学习器产生的概率估计。
Jul, 2018
通过 PAC Bayes 框架进行校准误差的泛化分析,并提出了一个基于该泛化理论的智能校准算法。数值实验表明,该算法提高了基于高斯过程的校准性能。
Jun, 2024