偏差缓解技术中的关键问题调查

Apr, 2021

An Investigation of Critical Issues in Bias Mitigation Techniques

Robik Shrestha, Kushal Kafle, Christopher Kanan

TL;DR本研究提出了一个改进的评估协议、合理的指标和一个新的数据集，以评估现有的 7 种最先进的减少偏差算法的有效性。研究发现，算法利用隐藏的偏见，无法适应多种偏向，而且对调整数据集的选择非常敏感。因此呼吁社区采用更严格的评估方法。

Abstract

A critical problem in deep learning is that systems learn inappropriate biases, resulting in their inability to perform well on minority groups. This has led to the creation of multiple algorithms that endeavor to mitigate bias. However, it is not clear how effective these methods are.

deep learning bias mitigation evaluation protocol robustness tuning distribution

发现论文，激发创造

机器学习分类器的偏差缓解：一项综合调查

本篇论文对机器学习模型中的偏差缓解方法进行了全面调查，收集了 341 篇有关偏差缓解的出版物，并对它们进行了评估，提供了支持从业人员在开发和评估新的偏差缓解方法时做出明智选择的见解。

Jul, 2022

机器学习分类器偏见缓解方法的全面实证研究

该研究对机器学习分类器的 17 种生动代表性偏差缓解方法进行了综合性的实证研究，在 8 种广泛采用的软件决策任务中应用了 11 种 ML 性能度量（例如，准确性）、4 种公平度量以及 20 种公平 - 性能权衡评估。在分析过程中，作者发现，无法在所有情境下达到最佳公平 - 性能平衡。

Jul, 2022

面向医学影像人工智能的客观系统偏见评估

通过一种新的分析框架，我们展示了如何系统性、客观地研究医学图像中的偏见对人工智能模型的影响，并评估偏见缓解策略在性能差异方面的有效性，从而支持开发健壮、负责任的临床人工智能。

Nov, 2023

针对二分类决策系统的偏见缓解方法：调查和建议

本文对偏见缓解方法进行了系统概述，报告了其优点和局限性，并为二元分类的未来偏见缓解方法的开发提供建议。

May, 2023

预测公平性的系统评估

研究偏见数据训练中的偏差的缓解方法，分析多种方法在不同数据条件下的性能表现，发现仅基于标准数据集进行评估的公平性研究实践存在局限性。

Oct, 2022

语言引导的未知数据集偏差检测与减轻

在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

Jun, 2024

分析和减轻弱势群体偏见：迈向数据集的平衡代表性

通过对脆弱道路用户的分类不平衡、性能评估和偏见影响评估进行研究，我们提出了一种模型优化和偏见缓解的方法，包括数据增强、重采样和度量特定学习，以改善自动驾驶中感知系统的准确性和公正性。

Jan, 2024

视觉识别中的公正性：减轻偏见的有效策略

本文探讨计算机视觉领域中，当进行看似不相关的任务（如活动识别或图像描述）训练时，模型学习偏见的问题，以及避免学习此类偏见的方法，并在 CelebA 数据集的属性分类任务中使用领域无关的训练技术，有效地减轻了现实世界中的性别偏见。

Nov, 2019

一个新的偏差度量的原则方法

机器学习和数据驱动算法在决策制定领域的广泛应用已逐年增加，但相关负面影响也随之日益严重。负面数据偏差是其中之一，会对特定群体造成有害后果。为解决偏差带来的负面后果，必须首先认识到其存在，并找到一种能够理解和量化的方法。本文的主要贡献是：（1）提出了一个定义和高效量化数据集相对于保护群体偏差水平的通用算法框架；（2）定义了一种新的偏差度量方法。我们的实验结果在九个公开数据集上得到验证，并进行了理论分析，从而为该问题提供了新的见解。基于我们的方法，我们还推导出一种可能对政策制定者有用的偏差缓解算法。

May, 2024

在多个数据集偏差源存在时，调查 AI 算法的低诊断率

该研究通过对人群亚组之间的疾病分类器性能分析，发现低诊断率造成的表现差异引起了关注，进一步强调了在训练数据中嵌入的人类偏见可能会放大现有的健康差异，并探讨了评估模型公正性的一些困难。

Jan, 2022