Aug, 2020
动量多校准方法用于不确定性估计
Moment Multicalibration for Uncertainty Estimation
Christopher Jung, Changhwa Lee, Mallesh M. Pai, Aaron Roth, Rakesh Vohra
TL;DR通过多校准算法,我们不仅能预测标签分布的期望值,还能预测更高阶矩,这为在各个子群体上估计不确定性和诊断特征的不公平性提供了一个原则性的方法。
Abstract
We show how to achieve the notion of "multicalibration" from H\'ebert-Johnson
et al. [2018] not just for means, but also for variances and other higher
moments. Informally, it means that we can find →
发现论文,激发创造
在线多值学习:均值、矩和预测区间
提出了一种通用的有效技术,用于提供多值上下文预测,可以针对在线选择的对手样例 $(x,y)$ 在各种意义上提供 ' 多个有效性 ',其中结果估计正确地预测标签 y 的各种统计信息,甚至在线对抗情况下运用此算法也可以给黑盒算法的预测的不确定性提供非常通用的技巧。
Jan, 2021
多校准统一收敛的样本复杂度
本文探讨了机器学习系统中的社会公正问题,提出了一种多校准方法来解决群体公平性问题。通过解耦公平性度量(多校准)和准确性(预测误差),本研究为多校准误差提供了样本复杂度界限,从而保证了经验的与真实的多校准误差相近。
May, 2020
超越协变量偏移的多重校准与外域推广的桥梁
通过多校准,建立一个新的无模型偏见优化框架,确保预测器在一组重叠群体中实现校准,从而与协变量偏移下的统计推断的稳健性相关联,并扩展多校准以包括考虑协变量和标签的分组函数,从而实现包括概念变化在内的预测任务的稳健性。
Jun, 2024
回归任务中的不确定性预测评估和校准
本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法,并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证,展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。
May, 2019
多次校准后处理的必要性?
该研究是第一项全面评估选定模型的多校准后处理在广泛标签、图像和语言数据集上的实用性,并总结了:(1)开箱即用的模型往往相对多校准且无需额外的后处理;(2)多校准后处理可以改善本质上无法校准的模型;(3)传统的校准度量有时会隐含地提供多校准度。此外,还总结了许多独立的观察结果,对实际应用多校准后处理在现实环境中具有实用性和有效性的情况可能有所帮助。
Jun, 2024