WWWMay, 2019

Field-aware Calibration：可靠概率预测的简单有效方法

PDF
TL;DR本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
发现论文，激发创造
  • 置信度感知的多字段模型校准

    我们提出了一种自信度感知的多字段校准方法，根据样本统计得到的自信度水平自适应调整校准强度，并利用多个特征字段进行联合模型校准，以减轻单一字段的数据稀疏效应，从而提升广告表现并降低预测误差。

    Feb, 2024

  • 后验概率的重要性：在线广告神经预测的双适应校准

    通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。

    May, 2022

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022

  • 神经网络回归中概率校准的大规模研究

    本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法，并发现正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准。同时，我们还展示了分位数校准可以被视为一种特定的修正方法，并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。

    Jun, 2023

  • 深度学习中的校准度量

    本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

    Apr, 2019

  • 回归任务中的不确定性预测评估和校准

    本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

    May, 2019

  • 神经网络的校准

    该论文研究了神经网络中置信度校准的问题，并提供了校准方法的经验比较，分析了可视化和标量测量评估模型置信度校准的不同方法，并对基于后处理或对训练进行更改的现代校准技术进行了评估，实验结果覆盖了各种数据集和模型，比较了不同标准下的校准方法。

    Mar, 2023

  • 随机预测个体校准

    通过使用随机化的置信区间实现对每个样本测量的分配，并提高数据子组的校准度和预测效果。

    Jun, 2020

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • 从不确定性到精确性：通过校准提升二元分类器性能

    我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

    Feb, 2024