一个评估视觉 - 语言模型中性别偏见的统一框架和数据集

Feb, 2024

一个评估视觉 - 语言模型中性别偏见的统一框架和数据集

A Unified Framework and Dataset for Assessing Gender Bias in Vision-Language Models

Ashutosh Sathe, Prachi Jain, Sunayana Sitaram

TL;DR通过构建统一的框架系统评估大规模视觉语言模型中的性别职业偏见，我们在不同输入输出模态下的基准测试中观察到不同的偏见程度和方向，希望我们的工作能指导未来改进视觉语言模型以学习社会上没有偏见的表示方式。

Abstract

large vision-language models (VLMs) are widely getting adopted in industry and academia. In this work we build a unified framework to systematically evaluate gender-profession bias in VLMs. Our evaluation encompa

large vision-language models gender-profession bias inference modes benchmarking socially unbiased representations

发现论文，激发创造

性别偏见 - VL：通过反事实探测在视觉语言模型中进行性别偏见基准测试

这篇论文介绍了 GenderBias-VL 基准测试，通过使用反事实视觉问题评估 LVLMs 中与职业相关的性别偏见，以个体公平标准为基准。该基准测试包含 34,581 个视觉问题反事实对，涵盖了 177 个职业，发现现有的 LVLMs 普遍存在性别偏见。

Jun, 2024

VLBiasBench：大型视觉语言模型偏见评估综合基准测评

通过引入 VLBiasBench 数据集和进行广泛的评估，我们对大型视觉语言模型中的偏见进行了全面研究，并揭示了一些新的见解。

Jun, 2024

深思熟虑行动：缓解针对视觉语言任务的性别偏见的双阶段框架

该研究针对视觉语言模型中的性别偏见进行了研究，识别出对象幻觉是视觉语言模型中性别偏见的本质。为了缓解性别偏见，提出了一个名为 GAMA 的生成框架，通过生成全面但模糊性别的叙述来防止过早集中在局部图像特征上，并在回答推理阶段通过综合图像、生成的叙述和任务特定的问题提示来重新思考性别属性和答案。实验结果表明，GAMA 具备去偏见和泛化能力。

May, 2024

通过一个新的平行图像数据集研究大型视觉语言模型中的性别和种族偏见

通过查询大规模视觉语言模型，我们观察到在输入图像中人物的性别和种族上存在显著差异，针对此问题我们提出了新的数据集 PAIRS （每日场景的平行图像），并研究了大规模视觉语言模型中的性别和种族偏见。

Feb, 2024

多模态偏见：在视觉语言模型中引入一个能评估除性别和种族以外刻板印象的框架

本文提出了一个名为 MMBias 的基准数据集，用于评估自我监督多模态模型中的偏差，并介绍了一种旨在缓解偏差的去偏置方法。

Mar, 2023

用反事实推理发现大规模视觉 - 语言模型中的偏见

通过对现有的大规模视觉 - 语言模型进行大规模研究，我们发现社会属性，如种族、性别和形象特征，可以显著影响生成的有害内容、能力相关词汇、有害刻板印象和被描述个体的评分，同时也探讨了大规模视觉 - 语言模型和对应的语言模型之间的社会偏见关系和减缓偏见的推理策略。

May, 2024

揭示大规模视觉语言模型中的偏见

通过对不同的大型视觉 - 语言模型（LVLMs）生成的文本进行大规模研究，我们发现输入图像中所描绘的社会属性（如种族、性别和外貌特征），能够显著地影响生成文本的毒性和与能力相关的词汇。

Mar, 2024

使用反事实例探究和减轻视觉 - 语言模型中的交叉社会偏见

使用文本到图像扩散模型在规模上生成对抗实例，以探测和缓解视觉 - 语言模型中的交叉社会偏见。

Nov, 2023

使用反事实例子来探究视觉语言模型中的交叉偏见

通过使用文本到图像扩散模型和稳定扩散与交叉注意力控制方法，在产生大规模的反事实图像 - 文本对的基础上，揭示了现有的先进视觉 - 语言模型中存在的交叉社会偏差。

Oct, 2023

视觉语言模型中的社会偏见调查

近年来，机器学习模型，特别是基于 Transformer 的预训练模型，对自然语言处理和计算机视觉领域产生了革命性的进展。然而，研究人员发现这些模型可能无意中捕捉和强化其训练数据集中存在的社会偏见，导致资源分配不平等和特定社会群体的不公平代表。解决这些偏见并确保人工智能系统的公平性已成为机器学习界关注的焦点。最近介绍的预训练视觉语言模型在新兴的多模态领域引起了人们对其中的社会偏见的关注。尽管视觉语言模型易受社会偏差影响，但对比自然语言处理和计算机视觉领域中广泛讨论的偏见而言，对此了解有限。本调查旨在向研究人员提供关于 NLP、CV 和 VL 领域中预训练模型社会偏见研究的高层次见解。通过检查这些观点，本调查旨在为单模态和多模态环境下如何应对和减轻社会偏见提供有价值的指导。本文所提供的结果和建议可使机器学习界受益，并促进在各种应用和研究努力中开发更加公平和无偏的人工智能模型。

Sep, 2023