面向（可计算识别的）大众的校准

Nov, 2017

面向（可计算识别的）大众的校准

Calibration for the (Computationally-Identifiable) Masses

Úrsula Hébert-Johnson, Michael P. Kim, Omer Reingold, Guy N. Rothblum

TL;DR针对算法可能存在的歧视问题，该研究提出了一种新的算法公平度量标准，名为 multicalibration，保证对每个子人群的预测都准确，从而实现更加精准的预测和防止歧视问题的出现。

Abstract

As algorithms increasingly inform and influence decisions made about individuals, it becomes increasingly important to address concerns that these algorithms might be discriminatory. The output of an algorithm can be discriminatory for many reasons, most notably: (1) the data used to train the algorithm might be biased (in various ways) to favor certain popu

algorithmic fairness discrimination multicalibration predictor learning subpopulations

发现论文，激发创造

多次校准后处理的必要性？

该研究是第一项全面评估选定模型的多校准后处理在广泛标签、图像和语言数据集上的实用性，并总结了：（1）开箱即用的模型往往相对多校准且无需额外的后处理；（2）多校准后处理可以改善本质上无法校准的模型；（3）传统的校准度量有时会隐含地提供多校准度。此外，还总结了许多独立的观察结果，对实际应用多校准后处理在现实环境中具有实用性和有效性的情况可能有所帮助。

Jun, 2024

公正和校准

本论文探讨了在不同人群中最小化误差差异和维护校准概率估计之间的紧张关系，并表明校准只与单一误差约束兼容。

Sep, 2017

多校准统一收敛的样本复杂度

本文探讨了机器学习系统中的社会公正问题，提出了一种多校准方法来解决群体公平性问题。通过解耦公平性度量（多校准）和准确性（预测误差），本研究为多校准误差提供了样本复杂度界限，从而保证了经验的与真实的多校准误差相近。

May, 2020

探究医学图像分析中的标定偏差问题

本研究探讨了医疗影像分析中的人工智能系统的公平性问题，特别是围绕判定偏见和校准偏见的研究，并展示了通常使用的多种校准指标对样本量存在系统性偏差的情况，如果未考虑到这一点，可能会导致错误的公平性分析。

May, 2023

公平性的测度和误测：公平机器学习的关键综述

公平机器学习的早期专注是确保由算法指导的决策是公平的，三个公平定义引起了人们的关注，即反分类，分类平衡和校准，但这三个公平定义都有重大的统计局限性。相比之下，我们认为更倾向于根据最准确的风险估计对类似风险的人进行相似的处理，而不是一定要满足公平的数学定义，并强调这种方法需要大量的努力来构建适当的风险估计。

Jul, 2018

大型神经网络多校准性能通过损失最小化实现

本文研究了神经网络的表征方面，揭示使用最小化平方误差可以达到多重校准目标，从而提高了公平性。

Apr, 2023

走向公正和校准的模型

在这项研究中，我们提出了一种同时具备公平性和校准性的模型构建方法，通过基于温度缩放的简单后处理技术来实现，同时对现有的校准损失函数进行修改以进行组内校准，从而在多种场景下实现公平和校准的模型。

Oct, 2023

预测结果校准：一种新的多类校准方法

本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

Jul, 2021

关于计算效率的多分类校准

我们提出一种多类别标签问题的校准方法，通过多项式时间和样本复杂度来高效校准预测器，以获得对二元分类问题的强有力保证。

Feb, 2024

我的分类器为什么具有歧视性？

针对敏感应用如医疗保健或刑事司法等领域，本研究旨在解决在预测模型中公平性与准确性的平衡问题，并提出，应该在数据的背景下评估预测结果的公平性，并通过数据收集来解决样本大小或未测量的预测变量所带来的不公平性，同时通过将成本基准的歧视度量分解为偏差，方差和噪音，并提出旨在估计和减少每个术语的行动。最后，本文以收入，死亡率和审查等领域的预测为案例研究，确认这种分析方法的价值，并发现数据收集通常是减少歧视而不牺牲准确性的手段。

May, 2018