本文首次全面分析了两种常见的分箱策略中的估计偏差，建立了偏差的上界以实现改进的收敛速率，并给出了最小化估计偏差的最佳箱数。此外，使用信息理论方法扩展了我们的偏差分析到广义化误差分析，得出了上界，使得我们能够数值评估未知数据的 ECE 多小。深度学习模型实验证明了我们的上界在信息理论广义化分析方法的指导下是非虚无的。

May, 2024

本文提出了一种模糊校准误差 (FCE) 度量方式，该方式利用模糊分箱法来计算校准误差，可以更好地在多类设置中估计校准误差和缓解模型置信度分数的偏斜对校准误差估计的影响。

Apr, 2023

为了更好地进行决策，神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差，还能在保持准确性不变的同时，得到更好的不确定性估计。

Jul, 2021

本篇论文提出一种基于 Platti scaling 和 temperature scaling 的直方图分块校准法，用于计算模型校准误差，并使用气象学中的估算器来更加准确地估计校准误差。作者在多类别校准实验中将缔合法的校准误差降低了 35％。

Sep, 2019

该论文提出了一种新的度量概率二元分类器的校准误差的指标，称为基于测试的校准误差（TCE），并引入了基于统计检验的损失函数和优化标准，以及针对校准误差度量的 binning 过程和优化算法，通过多个实验验证 TCE 的性质，包括多个现实世界不平衡数据集和 ImageNet 1000。

Jun, 2023

本文针对分类器标定的问题，提出以正确描述其应用背景为目的，开发更准确反映标定误差的更具表达力的度量标准；其中，基于期望标定误差的推广，提出了几种不同的度量标准，分别反映了针对不同的可靠性定义的标定误差；此外，基于这些不同的度量标准，作者对常用的神经网络结构和标定技术进行了广泛的实证评估，发现许多常用的标定技术在这些不同可靠性定义的标定误差上并未有统一的改善.

May, 2022

本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

Apr, 2019

使用条件核平均嵌入测量标定差异，以提高机器学习模型的不确定性量化，并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力，并计划用于更复杂的应用。

May, 2024

本文提出了两个简单而有效的度量标准，Combined Error Variance (CEV) 和 Symmetric Distance Error (SDE)，以定量评估两个模型的类别偏差相对多少。 通过评估这些新指标的性能并展示它们的实际应用，我们证明它们不仅可以用于衡量公平性，而且还可以用于衡量偏差。 这些演示表明，我们的指标可以满足在多类分类中衡量偏差的特定需求。

Oct, 2021

通过对观测值进行平滑处理并计算期望校准误差（Expected Calibration Error，ECE）来修正可视化和衡量概率预测器校准性的最常见方法 — 分段和 ECE，从而获得一种行为良好的校准衡量方法 ——SmoothECE。此外，通过对平滑函数进行可视化，可以得到与分段可靠性图表相对应的可靠性图表。

Sep, 2023