这篇论文介绍了 GenderBias-VL 基准测试，通过使用反事实视觉问题评估 LVLMs 中与职业相关的性别偏见，以个体公平标准为基准。该基准测试包含 34,581 个视觉问题反事实对，涵盖了 177 个职业，发现现有的 LVLMs 普遍存在性别偏见。

Jun, 2024

通过对现有的大规模视觉 - 语言模型进行大规模研究，我们发现社会属性，如种族、性别和形象特征，可以显著影响生成的有害内容、能力相关词汇、有害刻板印象和被描述个体的评分，同时也探讨了大规模视觉 - 语言模型和对应的语言模型之间的社会偏见关系和减缓偏见的推理策略。

May, 2024

通过对不同的大型视觉 - 语言模型（LVLMs）生成的文本进行大规模研究，我们发现输入图像中所描绘的社会属性（如种族、性别和外貌特征），能够显著地影响生成文本的毒性和与能力相关的词汇。

Mar, 2024

公平性对于深度学习至关重要，尤其是在医疗领域，因为这些模型会影响诊断和治疗决策。本研究介绍了第一个公平的医学视觉语言数据集 FairVLMed，通过提供详细的人口属性、真实标签和临床笔记来深入研究视觉语言基础模型内的公平性。使用 FairVLMed，我们对两个广泛使用的视觉语言模型（CLIP 和 BLIP2）进行了全面的公平性分析，这两个模型分别在自然和医学领域进行了预训练，并跨越了四个不同的受保护属性。研究结果显示，所有视觉语言模型都存在显著偏见，其中亚洲人、男性、非西班牙裔和西班牙语为种族、性别、民族和语言方面的首选子群体。为了减轻这些偏见，我们提出了一种基于最优输运的方法 FairCLIP，通过减小整体样本分布和相应人口群体分布之间的 Sinkhorn 距离，在性能和公平性之间实现了有利的权衡。作为首个类似数据集，FairVLMed 有潜力促进开发既具有道德意识又具有临床有效性的机器学习模型的进步。

Mar, 2024

在计算机视觉和自然语言处理领域，本研究重要不可或缺的工具是大型视觉 - 语言模型（LVLMs），它们能够根据视觉输入生成文本描述。然而，我们的调查发现生成的内容存在显著的偏见，主要受到底层大型语言模型（LLMs）的影响而非输入图像。为了纠正这些偏见并将模型的关注重点转向视觉信息，我们提出了两种简单且无需训练的策略。首先，对于分类或多项选择问题回答（QA）等任务，我们通过仿射变换提出了一个 “校准” 步骤来调整输出分布。这种 “事后去偏” 的方法确保了当图像不存在时每个答案都具有均匀的分数，作为一种有效的正则化技术以减轻 LLM 先验的影响。对于更复杂的开放式生成任务，我们将这种方法扩展为 “去偏抽样”，借鉴了对比解码方法的灵感。此外，我们的研究还揭示了 LVLMs 在不同解码配置下的不稳定性，通过对不同设置的系统性探索，我们显著提高了性能，超过了现有评估结果，并对公平性提出了关切。综合实验证明了我们提出的策略在减轻偏见方面的有效性。这些策略不仅有助于减少虚幻现象，还有助于生成更有用和准确的插图。

Mar, 2024

通过使用划分群体公平性的全新层次模式，我们提出了对大型语言模型进行偏见评估的方法，并构建了一个跨多个维度的目标属性组合的数据集，GFair。此外，我们还引入了一项新的开放式文本生成任务来揭示大型语言模型中的复杂偏见。通过对流行的大型语言模型进行广泛评估，我们发现存在固有的安全问题。为了从群体公平性的角度减轻大型语言模型的偏见，我们首创了一种新的思维链 (GF-Think) 方法。实验结果表明，此方法在减轻大型语言模型中的偏见以实现公平性方面非常有效。

Dec, 2023

通过引入 VLBiasBench 数据集和进行广泛的评估，我们对大型视觉语言模型中的偏见进行了全面研究，并揭示了一些新的见解。

Jun, 2024

通过构建统一的框架系统评估大规模视觉语言模型中的性别职业偏见，我们在不同输入输出模态下的基准测试中观察到不同的偏见程度和方向，希望我们的工作能指导未来改进视觉语言模型以学习社会上没有偏见的表示方式。

Feb, 2024

通过查询大规模视觉语言模型，我们观察到在输入图像中人物的性别和种族上存在显著差异，针对此问题我们提出了新的数据集 PAIRS （每日场景的平行图像），并研究了大规模视觉语言模型中的性别和种族偏见。

Feb, 2024

通过使用文本到图像扩散模型和稳定扩散与交叉注意力控制方法，在产生大规模的反事实图像 - 文本对的基础上，揭示了现有的先进视觉 - 语言模型中存在的交叉社会偏差。

Oct, 2023