关于提高深度学习模型公正性的大规模经验研究

Jan, 2024

关于提高深度学习模型公正性的大规模经验研究

A Large-scale Empirical Study on Improving the Fairness of Deep Learning Models

Junjie Yang, Jiajun Jiang, Zeyu Sun, Junjie Chen

TL;DR本论文开展了第一次大规模实证研究，全面比较了现有最先进的公平性改进技术的性能，结果显示不同方法在不同数据集和敏感属性上表现存在较大差异，且不同的公平评估指标产生显著不同的评估结果，其中预处理方法和内处理方法优于后处理方法，预处理方法表现最佳，本研究为深度学习模型公平性提供了全面的建议。

Abstract

fairness has been a critical issue that affects the adoption of deep learning models in real practice. To improve model fairness, many existing methods have been proposed and evaluated to be effective in their ow

fairness deep learning models state-of-the-art fairness improving techniques image classification performance metrics

发现论文，激发创造

一个众包平台上的机器学习模型是否会表现出偏见？模型公正性的实证研究

本文展示了在真实世界中基于 40 个高评分 Kaggle 模型的公平性评估及其 7 种缓解技术的实证研究。结果发现，部分优化技术会导致模型失公，尽管机器学习库中有公平控制机制，但这些机制未被记录。最佳的降低失公的方法往往存在权衡和代价.

May, 2020

机器学习中促进公平的干预措施比较研究

本篇研究通过开发公开基准来对不同的公平性增强算法进行比较，并发现许多公平性措施之间具有强烈的相关性，但这些措施也对数据集构成的波动敏感，这表明公平干预可能比以前认为的更脆弱。

Feb, 2018

数据与模型的机器学习公平性测试：实证研究

通过对模型的前后公平性进行评估，研究发现，在数据分布和训练数据规模发生变化时，数据和模型公平性指标之间存在线性关系。这表明，在训练之前对公平性进行测试可以尽早发现有偏见的数据收集过程，检测生产系统中的数据漂移，并减少全面训练周期的执行，从而减少开发时间和成本。

Jan, 2024

机器学习中的公平性：一项调查

这篇文章介绍了机器学习中的社会偏见和公平性问题，总结了预处理、处理和后处理等多种方法，包含二分类、回归、推荐系统、无监督学习和自然语言处理等多个方面，同时提供了多个开源库。最后，列举了公平性研究的四个难题。

Oct, 2020

预测公平性的系统评估

研究偏见数据训练中的偏差的缓解方法，分析多种方法在不同数据条件下的性能表现，发现仅基于标准数据集进行评估的公平性研究实践存在局限性。

Oct, 2022

机器学习分类器偏见缓解方法的全面实证研究

该研究对机器学习分类器的 17 种生动代表性偏差缓解方法进行了综合性的实证研究，在 8 种广泛采用的软件决策任务中应用了 11 种 ML 性能度量（例如，准确性）、4 种公平度量以及 20 种公平 - 性能权衡评估。在分析过程中，作者发现，无法在所有情境下达到最佳公平 - 性能平衡。

Jul, 2022

关于公平感知机器学习数据集的调查

本文概述了应用于公平感知机器学习中的真实世界数据集，并使用贝叶斯网络分析数据特征之间的关系，进一步进行了探索性分析。

Oct, 2021

生成模型中的公平性测量

本文回顾了以往提出的公正度量标准，并讨论了绩效基准框架以及替代度量标准的评估。

Jul, 2021

医学影像公平性基准测试

该研究介绍了 MEDFAIR 框架，可以用于医学成像机器学习模型的公平性评估和算法的基准测试，通过实验发现模型选择标准可以对公平性结果产生重要影响，并在不同的应用场景和伦理原则下提供了建议。

Oct, 2022

深度伪造检测中公平性的提高

本文提出了一种新的算法来训练公平的 deepfake detection model，以解决使用偏见的数据训练深度学习模型可能会导致不公平表现的问题。实验结果表明，该方法可以提高 deepfake detection 的公平性和鲁棒性。

Jun, 2023