ICLRMay, 2022

如何评估分类器的校准性：在特定上下文可靠性定义下的分类器校准性评估

PDF
TL;DR本文针对分类器标定的问题，提出以正确描述其应用背景为目的，开发更准确反映标定误差的更具表达力的度量标准；其中，基于期望标定误差的推广，提出了几种不同的度量标准，分别反映了针对不同的可靠性定义的标定误差；此外，基于这些不同的度量标准，作者对常用的神经网络结构和标定技术进行了广泛的实证评估，发现许多常用的标定技术在这些不同可靠性定义的标定误差上并未有统一的改善.
classifier calibrationneural networkcalibration errorreliabilitycalibration techniques
发现论文，激发创造
  • 关于测量离散概率神经网络的校准

    使用条件核平均嵌入测量标定差异，以提高机器学习模型的不确定性量化，并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力，并计划用于更复杂的应用。

    May, 2024

  • 深度学习中的校准度量

    本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

    Apr, 2019

  • 重新审视校准：问答的案例

    该研究旨在提出一种更好的置信度校准指标 —MacroCE，该指标能更好地捕捉模型给出正确预测时高信心和给出错误预测时低信心的情况，并针对开放领域问答的实际应用，提出了新的校准方法 ConsCal，该方法不仅考虑模型的最终预测，还考虑了多个模型检查点的一致性预测，提供了一种全新的校准视角、新的指标以及根据指标提出了更加有效的校准方法。

    May, 2022

  • TCE：一种基于测试的衡量校准误差的方法

    该论文提出了一种新的度量概率二元分类器的校准误差的指标，称为基于测试的校准误差（TCE），并引入了基于统计检验的损失函数和优化标准，以及针对校准误差度量的 binning 过程和优化算法，通过多个实验验证 TCE 的性质，包括多个现实世界不平衡数据集和 ImageNet 1000。

    Jun, 2023

  • 分类度量标准的分析与比较

    该文讨论了机器学习领域最常见的分类系统性能指标，比较了它们与期望成本和 PSR 等其他指标之间的关系，并认为后者更为优秀和高效。

    Sep, 2022

  • 重新评估机器学习模型的校准比较和改进方法

    机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。

    Jun, 2024

  • 元校准：使用可微分的期望校准误差学习模型校准

    提出一种新颖的框架，其中引入了可微替代预期校准误差 (DECE)，以直接优化校准质量，并采用 DECE 进行元学习框架，实现了对模型超参数的验证集校准优化。该框架在解决模型校准方面具有开创性，并在与业界最新校准方法的对比实验中取得了竞争力的表现。

    Jun, 2021

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 缓解校准误差估计中的偏差

    研究 AI 系统在决策中的可靠性，提出了一种新的校准误差评估方法，并分析了常见神经结构的同类输出，提出基于等质量分组的估计器可以降低偏差，提出两种可靠的校准误差估算器，并观察到重新校准方法的有效性和模型渐进失真检测的提高。

    Dec, 2020

  • 神经网络的校准

    该论文研究了神经网络中置信度校准的问题，并提供了校准方法的经验比较，分析了可视化和标量测量评估模型置信度校准的不同方法，并对基于后处理或对训练进行更改的现代校准技术进行了评估，实验结果覆盖了各种数据集和模型，比较了不同标准下的校准方法。

    Mar, 2023