发现和减轻图像分类器中的多个有偏群体

Mar, 2024

发现和减轻图像分类器中的多个有偏群体

Discover and Mitigate Multiple Biased Subgroups in Image Classifiers

Zeliang Zhang, Mingqian Feng, Zhiheng Li, Chenliang Xu

TL;DR通过分解图像特征为多个组分并生成自然语言描述，使用 DIM 方法来发现和减轻图像分类器中的多个有偏群体，并揭示模型在 Hard ImageNet 上的失误模式，以理解图像分类器中的模型偏差。

Abstract

machine learning models can perform well on in-distribution data but often fail on biased subgroups that are underrepresented in the training data, hindering the robustness of models for reliable applications. Su

machine learning biased subgroups model robustness image classifiers model bias

发现论文，激发创造

使用 Datamodels（D3M）进行数据去偏：通过数据选择提高子群体鲁棒性

使用 Data Debiasing with Datamodels (D3M) 方法，在不需要训练组注释或额外的超参数调整的情况下，通过隔离和移除导致模型在少数群体上失败的特定训练样本，可以高效地训练去偏置分类器。

Jun, 2024

划分和消除：基于偏见特定专家混合的客观偏见缓解

消除偏差的图像分类方法：介绍了一种名为 Partition-and-Debias (PnD) 的方法，该方法使用特定偏差的混合专家组来隐式地将偏差空间划分为多个子空间，并使用一个门控模块来在专家之间找到共识，以实现无偏分类。

Aug, 2023

分类任务的常识偏见发现与缓解

基于图像描述提取特征聚类的框架，发现数据集中的敏感关联性，通过调整图像采样权重减轻下游模型偏差问题。

Jan, 2024

分类器中的显著性预测偏差识别

介绍了一种新颖的子集扫描方法，用于检测统计学显著的偏差或区域，以及识别分类器偏差或预测不良的特征子集，该方法使用基于子集扫描和参数引导的方法处理了指数级可能的子集。

Nov, 2016

改进医学影像分析公平性：消除校准偏见，无需固定属性分组

为解决医学图像分析中校准偏差的问题，提出了一种基于聚类 - 焦点法的新方法 Cluster-Focal，无需在训练期间考虑亚组属性，能够管理最差亚组的校准误差，同时保持预测性能，并超越了最近的基线。

Jul, 2023

语言引导的未知数据集偏差检测与减轻

在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

Jun, 2024

识别图像分类器在稀有子组上的系统误差

使用 PromptAttack 在图像分类器中识别具有普遍错误的子组。

Mar, 2023

缓解语音模型中的偏见的对比学习方法

使用对比学习技术来减轻语音模型中的偏差，改善性能不佳的子群体的内部表示，从而降低模型偏差并提升性能。

Jun, 2024

子群分离在群体公平医学图像分类中的作用

我们研究深度分类器中的性能差异。我们发现分类器将个体分为子群的能力在医学成像模态和保护特性之间存在显著差异；关键是，我们展示了这一特性对算法偏见具有预测作用。通过理论分析和广泛的经验评估，我们发现了子群分离性、子群差异和在训练数据存在系统偏差（如低诊断率）时性能下降之间的关系。我们的发现为理解模型如何变得有偏提供了新的视角，为公平的医学成像人工智能的发展提供了重要的见解。

Jul, 2023

通过利用网络搜索和生成模型解决图像分类中的弱决策边界

机器学习（ML）技术已知存在伦理和运营问题，但我们正见证企业在敏感应用中部署它们的增长势头。我们提出了一种利用网络搜索和生成模型来缓解判别模型缺陷的方法。我们在 ImageNet 的 People Subtree 子集上展示了我们的方法，并展示其在某些代表弱势群体的类别中增强了鲁棒性和减轻了偏见（例如，有色人种女医生）。虽然在极大程度上提高了模型的整体性能，我们在模型的性别准确性差异方面实现了显著降低（77.30%）。除了这些改进，我们观察到分类器的决策边界得到了明显的增强，它具有较少的弱点和类别之间的更大差异。虽然在本研究中我们展示了针对弱势群体的方法，但该技术可以扩展到各种问题和领域。

Oct, 2023