Feb, 2023

在多模态语言模型评估中控制刻板印象

PDF
TL;DR我们提出了一种方法和设计了两个基准集，以衡量语言和视觉语言模型在有或没有刻板印象的情况下使用视觉信号的程度。我们的结果表明，多模型之间存在显着差异：最近基于 Transformer 的 FLAVA 似乎比早期基于 CNN 的模型（如 VisualBERT 和 LXMERT）更敏感于图像的选择，而且受刻板印象的影响较小。这种效果在控制型环境中比传统的评估中更容易觉察，我们不知道模型是依赖于刻板印象还是视觉信号。
发现论文，激发创造
  • 多模态偏见：在视觉语言模型中引入一个能评估除性别和种族以外刻板印象的框架

    本文提出了一个名为 MMBias 的基准数据集，用于评估自我监督多模态模型中的偏差，并介绍了一种旨在缓解偏差的去偏置方法。

    Mar, 2023

  • 图像胜过言辞：从因果中介视角理解和减轻视觉语言模型中的偏见

    通过因果中介分析，我们提出了一个框架，来测量和映射在视觉 - 语言模型中生成和传播偏见的路径，结果显示图像特征是偏见的主要贡献者，对模型偏见的减轻起到重要作用，同时能保持性能稳定。

    Jul, 2024

  • 语言模型中对陈规的理解：朝着鲁棒度量和零 - shot 去偏见的方向

    本文研究了预训练语言模型的生成文本中存在的人类偏见和其对不同人口群体的影响，针对现有的评估技术和基准的准确性问题，提出了新的评估框架以更稳健地测量和量化语言模型所表现出的偏见。并使用该框架调查了 GPT-3 的职业性别偏见，并提出了一些缓解这些偏见的提示技术。

    Dec, 2022

  • 一个评估视觉 - 语言模型中性别偏见的统一框架和数据集

    通过构建统一的框架系统评估大规模视觉语言模型中的性别职业偏见，我们在不同输入输出模态下的基准测试中观察到不同的偏见程度和方向，希望我们的工作能指导未来改进视觉语言模型以学习社会上没有偏见的表示方式。

    Feb, 2024

  • StereoSet：测量预训练语言模型中的陈词滥调偏见

    该论文介绍了 StereoSet，一个用于评估英语中预训练语言模型中四种基于性别、职业、种族和宗教的陈规陋习偏见的大规模自然数据集，并评估了 BERT、GPT-2、RoBERTa 和 XLNet 等流行的语言模型在其中的表现，同时呈现了一个有隐藏测试集的排行榜来跟踪未来语言模型的偏见。

    Apr, 2020

  • 不同语言中的典型偏见有多大差异？

    通过系统地分析使用不同语言、单语和多语模型、不同架构的偏向性，扩展了评估预训练英语语言模型中的刻板偏见的研究范围，发现在多语言环境下分析是非常重要的，并且公布了代码库以及翻译数据集的实用指南以鼓励将我们的工作进一步扩展到其他语言。

    Jul, 2023

  • 从地方概念到普适性：评估视觉语言模型的多元文化理解

    通过引入 GlobalRG 基准，涵盖了检索跨文化图像的普遍概念和在图像中定位文化特定概念这两个具有挑战性的任务，我们评估了各种模型在不同文化背景下的表现，并强调了在视觉语言模型中增强多元文化理解的必要性。

    Jun, 2024

  • 双倍劣势：预训练视觉与语言模型中的偏见复合

    该研究扩展了文本偏差分析方法，以调查多模式语言模型，并分析了这些模型学习的内部和跨模态关联和偏见。具体而言，该研究表明 VL-BERT 展示出性别偏见，往往更喜欢强化刻板印象而不是忠实描述视觉场景。

    Apr, 2021

  • 无过滤器：对比式视觉语言模型中的文化和社会经济多样性

    该研究探讨了视觉 - 语言模型中的文化和社会经济多样性，研究发现了数据训练过程中对低社会经济地位社群和文化理解的不公平现象，并提出了一种改进方法以提高文化多样性。

    May, 2024

  • 面向大型语言模型的审计：提升基于文本的刻板印象检测

    本研究介绍了一个多维度刻板印象数据集以及英文文本的新型刻板印象分类器，并通过多类别训练模型在多种可解释 AI 工具下展示出较好的性能，利用该模型评估了流行的 GPT 模型系列的刻板印象行为，并观察到刻板印象的减少，从而为 LLM 的刻板印象偏见审计和评估建立了一个稳健而实用的框架。

    Nov, 2023