测量两次，裁剪一次：量化深度神经网络中的偏差和公平性

Oct, 2021

测量两次，裁剪一次：量化深度神经网络中的偏差和公平性

Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks

Cody Blakeney, Gentry Atkinson, Nathaniel Huish, Yan Yan, Vangelis Metris...

TL;DR本文提出了两个简单而有效的度量标准，Combined Error Variance (CEV) 和 Symmetric Distance Error (SDE)，以定量评估两个模型的类别偏差相对多少。通过评估这些新指标的性能并展示它们的实际应用，我们证明它们不仅可以用于衡量公平性，而且还可以用于衡量偏差。这些演示表明，我们的指标可以满足在多类分类中衡量偏差的特定需求。

Abstract

algorithmic bias is of increasing concern, both to the research community, and society at large. Bias in ai is more abstract and unintuitive than traditional forms of discrimination and can be more difficult to d

algorithmic bias ai multi-class classifiers fairness metrics

发现论文，激发创造

评估和减轻知识蒸馏中砍枝神经网络的偏差

本文提出了两种简单而有效的度量方法，CEV 和 SDE，以量化剪枝模型的偏差防御质量，并展示了知识蒸馏可以调和剪枝神经网络中的偏差。我们发现模型相似度与剪枝诱导的偏差之间存在强关联，这提供了一种强大的方法来解释为什么在剪枝神经网络中会发生偏差。

Jun, 2021

消除 “偏见” 测量中的偏差

通过数学和模拟，作者表明现有的用于测量群体间的模型性能差异的度量大多是基于统计偏差的估计量，因此提出了一种 “双校正” 方差估计器，提供了模型性能在群体间变化的无偏估计和不确定性量化，这种方法在现实数据集上的应用表明，在统计偏差的影响下，群组间的性能差异不再显著。

May, 2022

对深度模型中的偏差和方差重新审视：一种对齐而非权衡的模式

机器学习的经典智慧认为泛化误差可以从偏差和方差两个方面进行分解，并且这两个术语之间存在一种权衡关系。然而，在本文中，我们展示了对于由深度学习为基础的分类模型集合，偏差和方差在样本级别上是一致的，其中对于正确分类的样本点，平方偏差近似等于方差。我们通过实证证据在多种深度学习模型和数据集上验证了这一现象。此外，我们从两个理论角度研究了这一现象：校准和神经坍缩。我们首先理论上证明在模型被很好地校准的假设下，我们可以观察到偏差 - 方差一致性。其次，从神经坍缩理论提供的视角出发，我们展示了偏差和方差之间的近似相关性。

Oct, 2023

深度学习基于分割的心脏 MR 图像分析中由于数据不平衡导致的偏差调查

该研究讨论了使用神经网络建立心脏数据的图像分割模型时，数据库不平衡导致的种族偏见，提出了三种解决方案，并发现 protected group models 的使用最有效。

Jun, 2021

缓解校准误差估计中的偏差

研究 AI 系统在决策中的可靠性，提出了一种新的校准误差评估方法，并分析了常见神经结构的同类输出，提出基于等质量分组的估计器可以降低偏差，提出两种可靠的校准误差估算器，并观察到重新校准方法的有效性和模型渐进失真检测的提高。

Dec, 2020

以鲁棒性促进公平：探究深度学习中的鲁棒性差异性

该研究采用两种方法来衡量深度神经网络中的鲁棒性偏差。实证研究结果表明，在大多数情况下，存在一些少数群体处于劣势，并提出了数据分布和学习决策边界的高度复杂性是导致此类偏向的原因。

Jun, 2020

深度神经网络中的公平性缺陷信息论测试与调试

DICE 是一种信息论测试和调试框架，通过量化含有决策数据的受保护信息来识别和定位深度前馈神经网络中的公平缺陷，在此基础上提出了一种因果调试框架来定位不足训练的层和神经元，并通过实验有效地生成有歧视性的实例。

Apr, 2023

组误差和的总和：生物特征验证中偏差评估的关键检查和双度量度

生物特征验证（BV）系统往往在不同的人群中显示准确性差异，引发应用中的偏见。评估和量化这些偏见对确保 BV 系统的公正性至关重要。然而，现有的 BV 偏见评估指标存在一些限制，如仅关注匹配或非匹配错误率、忽视性能介于最好和最差性能水平之间人群的偏见以及忽视偏见的强度。本文对 BV 中现有偏见评估指标的限制进行了深入分析，并通过实验分析展示了它们的背景适应性、优点和限制。此外，还引入了一种新颖的通用偏见评估度量指标，即 “组错误差之和（SEDG）”。我们在控制的合成数据集上的实验结果表明，当使用现有指标和我们自己提出的度量时，能够有效量化人口统计偏见。我们讨论了偏见评估指标在一组模拟人口统计偏见场景中的适用性，并提供了基于场景的指标建议。我们的代码在 https://github.com/alaaobeid/SEDG 上公开共享。

Apr, 2024

超越准确性和公平性：不再仅基于群组间指标对偏见缓解方法进行评估

人工智能（AI）在各领域广泛应用，引发对公平性的关注。然而，现行的讨论往往强调基于结果的度量，而对亚组内不同影响缺乏细致考虑。偏见缓解技术不仅影响敏感组之间实例的排名，而且通常也显著影响这些组内实例的排名。这种变化很难解释，并引发对干预有效性的担忧。然而，当前通常使用的准确性公平评估框架很少注意到这些效应。本文挑战用于评估偏见缓解技术的现行指标，认为它们不考虑组内变化，导致预测标签无法反映真实场景。我们提出一个范式转变：首先，我们应该专注于为每个亚组生成最准确的排名。然后，根据这些排名选取个体以满足公平标准和实际考量。

Jan, 2024

探究医学图像分析中的标定偏差问题

本研究探讨了医疗影像分析中的人工智能系统的公平性问题，特别是围绕判定偏见和校准偏见的研究，并展示了通常使用的多种校准指标对样本量存在系统性偏差的情况，如果未考虑到这一点，可能会导致错误的公平性分析。

May, 2023