Jun, 2023

VisoGender: 用于衡量图像 - 文本代词解析性别偏见的数据集

PDF
TL;DR本研究介绍了 VisoGender，这是一个用于基准测试视觉语言模型的性别偏见的新数据集。我们专注于与职业相关的性别偏见，并强调每个图像都与包含场景中主体和对象的代词关系的标题相关联。
visogendergender biasvision-language modelsoccupation-related biasesgender representation
发现论文，激发创造
  • 核指消解中的性别偏见：评估与去偏方法

    本研究介绍了一个新的基准数据集 WinoBias，用于解决与性别偏见有关的指代消解问题。通过数据增强方法，结合现有的词嵌入去偏置技术，可以消除核心指代消解系统对 WinoBias 数据集中男女刻板定型实体的偏见，同时不会显著影响系统的表现。

    Apr, 2018

  • 一个评估视觉 - 语言模型中性别偏见的统一框架和数据集

    通过构建统一的框架系统评估大规模视觉语言模型中的性别职业偏见，我们在不同输入输出模态下的基准测试中观察到不同的偏见程度和方向，希望我们的工作能指导未来改进视觉语言模型以学习社会上没有偏见的表示方式。

    Feb, 2024

  • 性别偏见 - VL：通过反事实探测在视觉语言模型中进行性别偏见基准测试

    这篇论文介绍了 GenderBias-VL 基准测试，通过使用反事实视觉问题评估 LVLMs 中与职业相关的性别偏见，以个体公平标准为基准。该基准测试包含 34,581 个视觉问题反事实对，涵盖了 177 个职业，发现现有的 LVLMs 普遍存在性别偏见。

    Jun, 2024

  • 核指消解中的性别偏见

    研究性别偏见对指代消解系统的影响，介绍 Winogender schemas 测试集，评估了三个公开的指代消解系统存在系统性的性别偏见，并将其与现实和文本性别统计数据相关联。

    Apr, 2018

  • 运动如女孩！语言和视觉中的体育性别偏见

    该研究分析了两个语言和视觉数据集的性别偏见，发现数据集对女性存在偏差，而且人类命名体育运动参与者时也存在性别偏见，这导致了数据集和模型对女性的不当代表。

    May, 2023

  • 为指代消解和机器翻译收集大规模性别偏置数据集

    通过寻找语法模式，我们在三个领域的语料库中发现了暗示刻板印象和非刻板印象的性别角色分配（例如女护士与男舞者），并发布了首个包含 108k 多样化英语句子的大规模性别偏见数据集，使用它来评估各种指代解析和机器翻译模型中的性别偏见，发现所有测试模型在处理自然输入时都倾向于过度依赖性别刻板印象。我们的数据集和模型都在 www.github.com/SLAB-NLP/BUG 上公开，希望它们能在实际环境中促进未来的性别偏见评估和缓解技术研究。

    Sep, 2021

  • 平衡画面：利用合成对比集去偏置视觉 - 语言数据集

    通过提出一个新颖的数据处理流程来纠正常用公平度量工具 (Bias@K) 存在偏见且不精确的问题。该流程通过提供一组性别平衡的对比集来扩充 COCO Captions 数据集，我们基于此数据集证明了在多个基于 CLIP 的模型中偏差的存在，表明了性别与图像背景之间毫无意义的相关性。最终，我们基于这些结果证明了我们的方法可以提高 Bias@K 的可靠度，从而对相关社会科学进行更准确的预测。

    May, 2023

  • 揭示和纠正图像字幕数据集和模型中的性别偏见

    本文研究了 COCO 图像描述数据集中的性别偏见对训练模型的影响以及如何通过解耦图像描述和性别分类的方法来消除偏见。

    Dec, 2019

  • 模型无关性别去偏见图像描述

    本文提出名为 LIBRA 的框架，通过学习从合成有偏差的样本中减少性别偏见，从而降低图像字幕模型中的两种性别偏见类型：利用上下文以预测性别的偏见以及因性别导致生成某些（通常是刻板印象的）词语的概率的偏见。

    Apr, 2023

  • 文本中的性别偏见：标记数据集和词库

    该研究的主要贡献是，通过收集、注释和增强相关句子以促进检测英文文本中的性别偏见，公开提供已标记的数据集和详尽的词汇表，其中所包含的偏见子类型包括：通用他，通用她，明确标记性别和性别新词。同时，利用词嵌入模型进一步增强了所收集的词汇表。

    Jan, 2022