校准增强 - 森林
本文探讨了 AdaBoost 在预测概率时存在的失真问题,并介绍了三种校正方法:Platt Scaling,Isotonic Regression 和 Logistic Correction,在实验中发现 Logistic Correction 和使用对数损失的提升模型对决策桩这样的弱模型表现良好,而对完整的决策树等复杂模型表现较差,而 Platt Scaling 和 Isotonic Regression 则显著提高了所预测概率的准确性。
Jul, 2012
提出了概率校准树,是一种修改后的逻辑模型树,它识别输入空间中的不同区域,在这些区域中学习不同的概率校准模型以提高性能。与等单调回归和 Platt 缩放方法相比,我们的方法的平均根均方误差更低,适用于各种基础学习器产生的概率估计。
Jul, 2018
我们分析了各种校准度量对分数失真的敏感性,并引入了一种精确的度量标准,即本地校准分数,比较了校准方法,提倡使用局部回归,强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现,使用随机森林分类器和回归器预测信用违约,并在性能优化过程中同时测量校准度。
Feb, 2024
本文提出了一种称为多项提升校准树(MBCT)的特征感知分箱框架,针对机器学习分类器中缺乏对校准精度的处理,该校准过程通过学习多维特征,实现了非单调且可提升预测准确性的分箱校准方法。
Feb, 2022
本文提出一种 MRC 模型后处理方法,依赖于 XGBoost 模型的校准器,结合手动特征和表示学习特征来改善模型的鲁棒性和性能表现,实验结果表明在针对敌对数据的情况下,模型的性能有超过 10% 的提升,同时也提升了原始和泛化数据集的性能。
Feb, 2022
本文提出了一种名为 Posterior-Calibrated Training 的训练方法,直接优化目标,并最小化预测后验概率与经验后验概率的差异,从而在减小校准误差的同时提高任务性能。该方法对于任何类型的分类任务都能很好地适用。
Apr, 2020
本文提出了一种新的评估指标,称为 “field-level calibration error”,用于衡量决策者关注的敏感输入领域中预测偏差,提出了一种名为神经校准的后续校准方法,使用验证集中的领域感知信息进行校准,并通过实验证明其对常见度量(如负对数似然、布里尔分数和 AUC)以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
May, 2019
通过 AdaCalib 模型的双重适应方法,我们可以根据后验统计信息学习保序函数族,进行精细校准,并确保后验概率适合于校准的场值。实验证明,AdaCalib 在校准性能上获得了显著的提高,可在线部署并超越先前的方法。
May, 2022