本文探讨了机器学习系统中的社会公正问题,提出了一种多校准方法来解决群体公平性问题。通过解耦公平性度量(多校准)和准确性(预测误差),本研究为多校准误差提供了样本复杂度界限,从而保证了经验的与真实的多校准误差相近。
May, 2020
本文研究了分类器给出可靠置信度分数的能力,在分组损失的影响下,提出了适用于标准设置下的分组损失估计器,利用该估计器证明了现代神经网络在计算机视觉和自然语言处理中存在分组损失
Oct, 2022
为了更好地进行决策,神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差,还能在保持准确性不变的同时,得到更好的不确定性估计。
Jul, 2021
提高机器学习模型的预测准确性和可靠性,本文提出了一种简化深度集成模型的方法,通过不同的误差计算方法来训练多个线性分类器,达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能,适用于组织病理图像和内镜图像的分类应用。
Mar, 2023
针对算法可能存在的歧视问题,该研究提出了一种新的算法公平度量标准,名为 multicalibration,保证对每个子人群的预测都准确,从而实现更加精准的预测和防止歧视问题的出现。
Nov, 2017
本文研究了神经网络模型的预测不确定性及其校准问题,并发现不使用卷积层的最新模型的校准性能最好,模型大小和预训练量并不能完全解释这些差异,表明模型架构是影响校准性能的主要因素。
Jun, 2021
本论文探讨了在不同人群中最小化误差差异和维护校准概率估计之间的紧张关系,并表明校准只与单一误差约束兼容。
Sep, 2017
深入实验和分析,提出了温度缩放法的简单有效性,可以解决现代神经网络中分类器的置信度校准问题。
Jun, 2017
该研究是第一项全面评估选定模型的多校准后处理在广泛标签、图像和语言数据集上的实用性,并总结了:(1)开箱即用的模型往往相对多校准且无需额外的后处理;(2)多校准后处理可以改善本质上无法校准的模型;(3)传统的校准度量有时会隐含地提供多校准度。此外,还总结了许多独立的观察结果,对实际应用多校准后处理在现实环境中具有实用性和有效性的情况可能有所帮助。
Jun, 2024
通过多校准算法,我们不仅能预测标签分布的期望值,还能预测更高阶矩,这为在各个子群体上估计不确定性和诊断特征的不公平性提供了一个原则性的方法。
Aug, 2020