May, 2023

基于分布感知的公平性测试生成

PDF
TL;DR该研究提出了一种称为 DistroFair 的分布感知公平性测试方法，通过组合分布感知图像变异、无分布测试和语义保留图像变异等方法，系统地揭示了图像分类器中的类级公平性违规，并通过评估结果表明，DistroFair 比传统方法更加有效。
group fairnessimage recognitionfairness testingout-of-distribution testingsemantic-preserving image mutation
发现论文，激发创造
  • 利用扩散扰动衡量计算机视觉中的公平性

    通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平性。使用这个公平性指标，我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。

    Nov, 2023

  • 提高人脸识别模型在未知数据上的公平性分类

    通过在多个数据集的脸部图像中同时训练，我们研究了异常数据量模型的性能，观察到 Outlier Exposure 方法可以提高模型的准确性和其他度量指标，并通过引入可训练的权重参数以及重新加权不同类别标签的重要性来增强模型的表现。同时，我们还进行了实验，比较了通过图像特征和平均像素值对图像进行排序以及检测异常值的效果，并测试了数据集的逆序是否对模型的准确性产生影响，以期使模型不仅更准确，而且更公平。

    Apr, 2024

  • 视觉识别的公平特征蒸馏

    本文提出了一种基于特征蒸馏的系统方法，通过其可以降低视觉识别任务中的算法偏见，从而提高算法公正性。同时，我们在理论和实验方面验证了这种方法的有效性和可行性。

    May, 2021

  • 基于框架的分类外分布检测基准及其在 ImageNet 上的应用

    本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架，并将该技术应用于 ImageNet 数据集，分析结果揭示了多个新观察，包括知识蒸馏能够一致提高分布外实例检测性能，ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。

    Feb, 2023

  • 分布转移下的监督算法公平性：一项综述

    监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

    Feb, 2024

  • 改进文本到图像扩散模型实现公平

    快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。

    Nov, 2023

  • 小样本无分布公平联邦学习

    在分布式数据训练中，为了解决公平性问题，本研究提出了一种适用于分布式和异构系统的具有小样本和分布自由保证的后处理算法 FedFaiREE。该算法考虑了分布式环境中的挑战，如客户异质性、通信成本和小样本大小，并在公平性和准确性方面提供了严格的理论保证，通过实验证明了所提方法的鲁棒性。

    Feb, 2024

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

    Apr, 2024

  • 分布变化下的图公平学习

    图神经网络（GNNs）在图结构化数据上取得了显著的性能。然而，GNNs 可能从训练数据中继承偏见，并根据敏感属性（如性别和种族）做出具有歧视性的预测。最近，对于 GNNs 的公平性保证引起了越来越多的关注，但是所有这些研究都基于一个假设，即训练和测试数据来自同一个分布，即训练数据和测试数据来自同一张图。分布变化会导致图公平性性能降低吗？分布变化如何影响图公平性学习？从理论角度上来说，这些开放性的问题在很大程度上是未经探索的。为了回答这些问题，我们首先从理论上确定了决定图偏见的因素。随后，我们探索了影响测试图上公平性的因素，其中一个值得注意的因素是训练图和生成图之间某些群体的表示距离。在我们的理论分析的启发下，我们提出了我们的框架 FatraGNN。具体而言，为了保证在未知的测试图上的公平性表现，我们提出了一个图生成器，可以产生具有显著偏见和不同分布的多个图。然后，我们在训练图和生成图之间最小化每个特定群体的表示距离。这使得我们的模型能够在具有显著偏见的生成图上实现高分类和公平性性能，从而有效处理未知的测试图。在真实世界和半合成数据集上的实验证明了我们模型在准确性和公平性方面的有效性。

    Jan, 2024

  • 公平信用评分的分布鲁棒优化方法

    应用分布鲁棒优化方法 (DRO) 研究信用评分，评估其在公平性、正确分类能力和解决边际比例变动时解决方案的稳健性方面的表现，结果显示 DRO 方法在公平性方面有显著改进，并且几乎不损失性能。但需要进一步完善有效实施这些系统。研究还指出，在信用评分环境中，许多常用的公平性指标并不适用，因为它们依赖于分类阈值的选择。

    Feb, 2024