ECCVJul, 2024

ViG-Bias: 视觉基础偏见发现与缓解

PDF
TL;DR通过整合视觉解释力量，本研究提出了一个名为 Visually Grounded Bias Discovery and Mitigation (ViG-Bias) 的简单而高效的技术，并通过全面评估证明其对现有的 DOMINO、FACTS 和 Bias-to-Text 等技术的性能提升，在包括 CelebA、Waterbirds 和 NICO++ 在内的多个具有挑战性的数据集上都取得了成功。
machine learning modelsbias discoveryhidden spurious correlationsvisual explanationsvig-bias
发现论文，激发创造
  • 视觉识别中的公正性：减轻偏见的有效策略

    本文探讨计算机视觉领域中，当进行看似不相关的任务（如活动识别或图像描述）训练时，模型学习偏见的问题，以及避免学习此类偏见的方法，并在 CelebA 数据集的属性分类任务中使用领域无关的训练技术，有效地减轻了现实世界中的性别偏见。

    Nov, 2019

  • 语言引导的未知数据集偏差检测与减轻

    在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

    Jun, 2024

  • FairVis: 用于发现机器学习中交叉偏见的视觉分析

    通过交互式可视化，FairVis 帮助数据科学家和普通公众发现机器学习中的偏差，从而了解和创建更具公平性的算法系统。

    Apr, 2019

  • 视觉 Transformer 中的社会偏见的多维分析

    图像模型的嵌入空间已经被证明可以编码一系列的社会偏见，该研究调查了对于视觉转换器（ViT）中出现这些偏见的具体因素，并测量了训练数据、模型架构和训练目标对 ViTs 学习表示中的社会偏见的影响。研究结果表明，基于反事实增强训练的扩散式图像编辑可以缓解偏见，但并不能完全消除；而且，相较于小模型，我们发现大模型的偏见较少，并且使用辨别目标进行训练的模型比使用生成目标进行训练的模型偏见较少。此外，我们观察到学习到的社会偏见存在不一致性，令人惊讶的是，当使用不同的自监督目标在相同数据集上训练时，ViTs 可能表现出相反的偏见。我们的发现揭示了导致社会偏见出现的因素，并提出了基于模型设计选择可以实现相当大程度的公平改善。

    Aug, 2023

  • 基于 VQA 的视觉基础方法的负面案例分析

    为解决当前 VQA 方法依赖于数据集偏见和统计相关性的问题，提出了利用视觉提示进行 VQA 模型性能优化的方法，但实现的改进并不是由于视觉提示的影响，而是正则化效应，为此提出了一种不需要外部数据注释的简单正则化方案。

    Apr, 2020

  • 测量基于视觉和语言嵌入的社会偏见

    通过引入 Grounded-WEAT 和 Grounded-SEAT 这些新的度量方式，我们对图片和语言的嵌入中存在的偏见进行了广义化的衡量，并通过实验的方法进行了验证；该研究对于构建公平的社会至关重要。

    Feb, 2020

  • AI 系统公平性：缓解语言视觉模型中的性别偏见

    本研究尝试减轻语言视觉模型中的性别偏见问题，通过研究现有数据集中性别偏见的影响程度，并提出一种缓解方法。

    May, 2023

  • 多模态偏见：在视觉语言模型中引入一个能评估除性别和种族以外刻板印象的框架

    本文提出了一个名为 MMBias 的基准数据集，用于评估自我监督多模态模型中的偏差，并介绍了一种旨在缓解偏差的去偏置方法。

    Mar, 2023

  • 图像胜过言辞：从因果中介视角理解和减轻视觉语言模型中的偏见

    通过因果中介分析，我们提出了一个框架，来测量和映射在视觉 - 语言模型中生成和传播偏见的路径，结果显示图像特征是偏见的主要贡献者，对模型偏见的减轻起到重要作用，同时能保持性能稳定。

    Jul, 2024

  • 分类任务的常识偏见发现与缓解

    基于图像描述提取特征聚类的框架，发现数据集中的敏感关联性，通过调整图像采样权重减轻下游模型偏差问题。

    Jan, 2024