多次校准后处理的必要性？

Jun, 2024

When is Multicalibration Post-Processing Necessary?

Dutch Hansen, Siddartha Devic, Preetum Nakkiran, Vatsal Sharan

TL;DR该研究是第一项全面评估选定模型的多校准后处理在广泛标签、图像和语言数据集上的实用性，并总结了：（1）开箱即用的模型往往相对多校准且无需额外的后处理；（2）多校准后处理可以改善本质上无法校准的模型；（3）传统的校准度量有时会隐含地提供多校准度。此外，还总结了许多独立的观察结果，对实际应用多校准后处理在现实环境中具有实用性和有效性的情况可能有所帮助。

Abstract

calibration is a well-studied property of predictors which guarantees meaningful uncertainty estimates. multicalibration is a related noti

calibration multicalibration predictors algorithmic fairness post-processing

发现论文，激发创造

面向（可计算识别的）大众的校准

针对算法可能存在的歧视问题，该研究提出了一种新的算法公平度量标准，名为 multicalibration，保证对每个子人群的预测都准确，从而实现更加精准的预测和防止歧视问题的出现。

Nov, 2017

多校准统一收敛的样本复杂度

本文探讨了机器学习系统中的社会公正问题，提出了一种多校准方法来解决群体公平性问题。通过解耦公平性度量（多校准）和准确性（预测误差），本研究为多校准误差提供了样本复杂度界限，从而保证了经验的与真实的多校准误差相近。

May, 2020

Field-aware Calibration：可靠概率预测的简单有效方法

本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

May, 2019

大型神经网络多校准性能通过损失最小化实现

本文研究了神经网络的表征方面，揭示使用最小化平方误差可以达到多重校准目标，从而提高了公平性。

Apr, 2023

LLMs 的置信度评分多重校准

通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。

Apr, 2024

动量多校准方法用于不确定性估计

通过多校准算法，我们不仅能预测标签分布的期望值，还能预测更高阶矩，这为在各个子群体上估计不确定性和诊断特征的不公平性提供了一个原则性的方法。

Aug, 2020

超越分类的校准测试

这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。