Jul, 2020

从有偏分类器训练去偏分类器：从失败中学习

PDF
TL;DR本文利用人类的知识针对神经网络的偏见问题提出了一个基于失败的去偏见训练方法，该方法通过训练两个神经网络同时进行，其思想是：(a) 通过反复放大偏见意图意图有意地训练第一个网络，(b) 重点关注具有对该偏差反对意见的样本以去偏见训练第二个网络。实验表明，该方法在合成和真实数据集中显著改善了网络抵御各种偏见的训练，甚至在某些情况下，比需要显式监督的有关特征的去偏见方法表现更好。
发现论文，激发创造
  • 学习不学习：使用偏置数据训练深度神经网络

    本文提出了一种新颖的正则化算法，用于训练具有严重偏差的深度神经网络，该算法可以有效地消除特征嵌入中的偏差信息。

    Dec, 2018

  • 使用有偏委员会学习去偏置化分类器

    通过使用委员会的思想，训练不带伪标签的去偏见分类器，以解决神经网络在训练数据中出现偏倚和虚假相关性的问题，并在五个真实世界的数据集上验证了该方法的超越之处。

    Jun, 2022

  • 通过去偏替换网络来识别和减轻未知偏差

    提出了 DebiAN 方法来识别和减少深度图像分类器从数据集中学习到的偏见，该方法包括两个网络，一个 Discoverer 和一个 Classifier，旨在在没有任何偏见注释的情况下找到分类器的多个未知偏见。在现实世界的数据集上，DebiAN 发现的未知偏见可能难以被人类发现，且可实现强大的偏见缓解性能。

    Jul, 2022

  • 使用低秩正则化进行自监督去偏差

    本文介绍了一种自监督去偏置的框架，可以有效地去除神经网络中的伪相关性对泛化能力的影响，并提高自监督学习的性能。

    Oct, 2022

  • 借鉴他人的经验：避免数据集偏见的模型无关方法

    通过限制处理数据的模型容量，利用其错误来训练更加健壮的模型，从而解决自然语言处理模型对数据集偏见的问题，并且在数据分布发生变化时具有良好的可移植性。

    Dec, 2020

  • 通过简单偏好的视角早期识别训练中的伪偏差

    研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

    May, 2023

  • 视觉和语言研究中实现更公平的神经模型的去偏置方法：一份调查报告

    在电脑视觉和自然语言处理领域中，神经网络虽然能够取得最新成果，但是其存在数据内的建模偏见，导致人工智能领域出现了公平性的研究方向，其目的为了纠正算法偏见，提出了几种基于公平性的神经网络去偏置的方法。

    Nov, 2022

  • 超越捷径：通过神经坍缩的视角进行无偏学习

    本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

    May, 2024

  • 通过自然语言理解中的偏见专家来改进偏见缓解

    通过引入偏见专家（bias experts），我们提出了一个新的去偏框架，改善了辅助模型的偏见识别能力，并且在各种挑战性数据集上始终优于现有技术水平。

    Dec, 2023

  • 深度神经网络中的潜在对抗去偏差：缓解原因变量偏差

    通过使用潜在的对抗去偏差 (LAD) 来生成去偏差的训练数据，尽管混淆信号存在于 100% 的训练数据中，但练习神经网络，可以在 Collider Bias 设置中提高它们的推广性。

    Nov, 2020