Aug, 2024

用于 $\ell_2$ 期望校准误差的置信区间

HTML
PDF
TL;DR本研究探讨了概率预测校准的重要性及其面临的挑战，提出了一种新的方法来构建$\ell_2$期望校准误差（ECE）的置信区间。研究表明，对于去偏估计器的ECE，校准与失调模型具有不同的收敛速率和渐近方差，实验证明所提方法的置信区间比重采样方法更为有效且长度更短。
发现论文，激发创造
  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为“field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和AUC）以及所提出的“field-level calibration error”指标的校准性能得到了显著提高。

    May, 2019

  • 经验法调整回归不确定性分布

    该研究提出了一种用于回归设置的校准方法，称为经验性地校准回归不确定性分布（CRUDE），该方法不假定错误的特定不确定性分布，并展示了它的理论联系以及 CRUDE 的性能优于现有技术。

    May, 2020

  • 缓解校准误差估计中的偏差

    研究AI系统在决策中的可靠性，提出了一种新的校准误差评估方法，并分析了常见神经结构的同类输出，提出基于等质量分组的估计器可以降低偏差，提出两种可靠的校准误差估算器，并观察到重新校准方法的有效性和模型渐进失真检测的提高。

    Dec, 2020

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022

  • 适当校准误差的一致且渐近无偏估计

    提出了一种方法，可以一致且渐近无偏地估计所有适当的校准误差和改进术语，并验证了所提估计器的所述特性，并建议后续校准方法的选择应由所关注的特定校准误差决定。

    Dec, 2023

  • 如何验证机器学习回归任务的平均校准性？

    根据最新机器学习不确定性量化文献上的数据集集成，本文展示了标定误差(CE)极其敏感于不确定性分布的特点和异常值不确定性的存在，因此不适合用于标定测试，相比之下，ZMS统计量在这个背景下提供了最可靠的方法，并且探讨了条件标定验证的启示。

    Feb, 2024

  • ECE的缺陷程度如何？一种基于Logit平滑的分析

    模型标定程度的度量方法之一是期望标定误差（ECE），但ECE在实践中存在不连续性问题。本研究通过分析ECE的不连续性，提出了一种连续且易于估计的标定误差度量指标LS-ECE，并通过对预训练图像分类模型的实验表明，ECE的理论缺陷在实践中可以避免。

    Feb, 2024

  • 关于测量离散概率神经网络的校准

    使用条件核平均嵌入测量标定差异，以提高机器学习模型的不确定性量化，并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力，并计划用于更复杂的应用。

    May, 2024

  • 重新评估机器学习模型的校准比较和改进方法

    机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。

    Jun, 2024

  • 评估后验概率：决策理论、适当评分规则与校准

    本文针对当前机器学习分类器后验概率评估的不足，提出采用期望适当评分规则（PSRs）作为后验质量的主要评估指标，而非常用的校准度量（如期望校准误差，ECE）。研究发现，校准度量只能反映后验质量的一个方面，忽视了区分性能，而期望PSRs能够提供更全面的质量评估，具有重要的理论和实践意义。

    Aug, 2024