这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

Oct, 2022

本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法，并发现正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准。同时，我们还展示了分位数校准可以被视为一种特定的修正方法，并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。

Jun, 2023

本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

May, 2019

研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

Feb, 2019

介绍了一种框架，用于通过多重假设检验重新定义风险控制问题来校准机器学习模型，从而保证其预测结果符合明确的统计保证。

Oct, 2021

通过使用随机化的置信区间实现对每个样本测量的分配，并提高数据子组的校准度和预测效果。

Jun, 2020

本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

Jul, 2018

ML 预测模型需要是可靠的和值得信赖的，这通常意味着它们需要输出校准后的概率。本文介绍了一种使用布莱克韦尔可达定理的技术，将可能不具备校准性的在线预测模型转变为校准的预测模型，而原始模型的损失不会显著增加。我们提出的算法在在线环境中实现了比现有技术（arXiv:1607.03594）更快的校准和准确性，并且是第一个在在线环境中提供校准误差和准确性灵活权衡的算法。通过使用我们的技术来描述可同时实现校准和后悔的空间，我们证明了这一点。

Oct, 2023

介绍了一种算法设计范例 —— 基于学习预测器的算法，将在线学习技术应用于预测器学习、调整鲁棒性 - 一致性折中并绑定样本复杂度，在构建优美的预测器的同时，在二分图匹配、滑雪租赁、页面迁移和作业调度等多场景中优化了多个现有结果，且提供了第一批基于学习理论的担保。

Feb, 2022

机器学习算法在实际应用中发展日益复杂，特别是在医学和工程等高风险应用中使用机器学习技术时，预测模型的失败概率至关重要。我们提出了风险评估任务，并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题，该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质，我们证明了所提方法的近似失败概率是保守的，不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

Oct, 2023