无监督学习伪属性去偏表示

Aug, 2021

Unsupervised Learning of Debiased Representations with Pseudo-Attributes

Seonguk Seo, Joon-Young Lee, Bohyung Han

TL;DR该论文提出了一种简单且有效的无监督去偏差技术，该方法利用聚类算法在特征嵌入空间识别伪属性，然后采用一种新颖的聚类加权重新调整方案来学习去偏置表示，以防止少数群体被忽视并达到最坏情况下的概括，实验证明其在多个标准基准测试数据集上具有出色的表现，甚至达到了有监督对照组的竞争精度。

Abstract

dataset bias is a critical challenge in machine learning since it often leads to a negative impact on a model due to the unintended decision rules captured by spurious correlations. Although existing works often

dataset bias machine learning unsupervised debiasing pseudo-attributes worst-case generalization

发现论文，激发创造

通过属性关注信息瓶颈学习可分解且无偏扭曲的表征

通过引入基于注意力的信息瓶颈，我们提出了一种新的去偏框架，用于学习属性的组合表示，从而改善了性能并解释了模型对属性的注意力。通过在有偏数据集上进行全面评估，并进行定量和定性分析，展示了我们方法在属性中心化表示学习方面的有效性，以及区分内在特征和偏向特征的能力。

Mar, 2024

使用低秩正则化进行自监督去偏差

本文介绍了一种自监督去偏置的框架，可以有效地去除神经网络中的伪相关性对泛化能力的影响，并提高自监督学习的性能。

Oct, 2022

通过解缠分特征增强学习无偏表示

本研究提出了一种基于特征级数据增广技术的去偏方法，通过使培训数据多样化，可以更有效地消除图像分类模型中偏见的影响。

Jul, 2021

通过生成代理敏感属性标签实现实际偏见缓解

通过提出的无监督代理敏感属性标签生成技术来解决在机器学习系统中的偏见问题，该方法包括无监督嵌入生成和聚类两个阶段，其有效性依赖于偏见通过与敏感属性相关的非敏感属性传播，并在高维潜在空间中映射为不同人口群体的聚类。实验结果表明，使用现有算法进行偏见缓解可以得到与真实敏感属性相比可比较的结果。

Dec, 2023

通过基于梯度的表示解释来消除模型偏差

本文提出了一种基于代理属性与敏感属性的公平性框架，通过梯度解释找到模型关注点，再利用它们来指导下游任务模型的训练，以实现公平性和效用之间的平衡。实验证明，我们的框架在非分离和分离表示学习方法上具有更好的公平性 - 精度平衡。

May, 2023

语言引导的未知数据集偏差检测与减轻

在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

Jun, 2024

从自然不平衡伪标签中进行无偏学习

本文提出一种基于对抗性反事实推理和自适应边界的偏差学习方法，旨在解决伪标签自然不平衡的分类问题。通过对大量实验数据的验证，实现了对 ImageNet-1K 进行半监督和零样本学习的显着精度提升。

Jan, 2022

利用成对分布差异的亲和力聚类框架进行数据去偏差

本文提出一种利用亲和力聚类进行数据增强的方法（MASC），以平衡目标数据集中受保护群体和非受保护群体的比例和代表性，通过共享受保护属性的相似数据集的实例并使用非参数谱聚类进行优化数据集分类。实验结果显示该方法可以有效地消除数据偏见。

Jun, 2023

使用有偏表示学习没有偏见的表示

本文介绍了一种用于训练去偏置表示的新框架，通过鼓励其与一组从设计上存在偏差的表示不同来实现。该方法可在许多场景中使用，可以提高模型在不同类别中的泛化能力。

Oct, 2019

机器学习中识别和纠正标签偏差

本文提出了一种数学公式来证明数据集中的偏见对分类器的影响，通过无需改变标签来重新计算数据点的值，从而得到一个无偏分类器，这种方法可以在各种机器学习算法中使用，并实现了公平分类的目标。

Jan, 2019