ACLMay, 2024

深思熟虑行动：缓解针对视觉语言任务的性别偏见的双阶段框架

PDF
TL;DR该研究针对视觉语言模型中的性别偏见进行了研究，识别出对象幻觉是视觉语言模型中性别偏见的本质。为了缓解性别偏见，提出了一个名为 GAMA 的生成框架，通过生成全面但模糊性别的叙述来防止过早集中在局部图像特征上，并在回答推理阶段通过综合图像、生成的叙述和任务特定的问题提示来重新思考性别属性和答案。实验结果表明，GAMA 具备去偏见和泛化能力。
发现论文，激发创造
  • 一个评估视觉 - 语言模型中性别偏见的统一框架和数据集

    通过构建统一的框架系统评估大规模视觉语言模型中的性别职业偏见，我们在不同输入输出模态下的基准测试中观察到不同的偏见程度和方向，希望我们的工作能指导未来改进视觉语言模型以学习社会上没有偏见的表示方式。

    Feb, 2024

  • 图像胜过言辞：从因果中介视角理解和减轻视觉语言模型中的偏见

    通过因果中介分析，我们提出了一个框架，来测量和映射在视觉 - 语言模型中生成和传播偏见的路径，结果显示图像特征是偏见的主要贡献者，对模型偏见的减轻起到重要作用，同时能保持性能稳定。

    Jul, 2024

  • 性别偏见 - VL：通过反事实探测在视觉语言模型中进行性别偏见基准测试

    这篇论文介绍了 GenderBias-VL 基准测试，通过使用反事实视觉问题评估 LVLMs 中与职业相关的性别偏见，以个体公平标准为基准。该基准测试包含 34,581 个视觉问题反事实对，涵盖了 177 个职业，发现现有的 LVLMs 普遍存在性别偏见。

    Jun, 2024

  • ViG-Bias: 视觉基础偏见发现与缓解

    通过整合视觉解释力量，本研究提出了一个名为 Visually Grounded Bias Discovery and Mitigation (ViG-Bias) 的简单而高效的技术，并通过全面评估证明其对现有的 DOMINO、FACTS 和 Bias-to-Text 等技术的性能提升，在包括 CelebA、Waterbirds 和 NICO++ 在内的多个具有挑战性的数据集上都取得了成功。

    Jul, 2024

  • 使用反事实例探究和减轻视觉 - 语言模型中的交叉社会偏见

    使用文本到图像扩散模型在规模上生成对抗实例，以探测和缓解视觉 - 语言模型中的交叉社会偏见。

    Nov, 2023

  • AI 系统公平性：缓解语言视觉模型中的性别偏见

    本研究尝试减轻语言视觉模型中的性别偏见问题，通过研究现有数据集中性别偏见的影响程度，并提出一种缓解方法。

    May, 2023

  • 模型无关性别去偏见图像描述

    本文提出名为 LIBRA 的框架，通过学习从合成有偏差的样本中减少性别偏见，从而降低图像字幕模型中的两种性别偏见类型：利用上下文以预测性别的偏见以及因性别导致生成某些（通常是刻板印象的）词语的概率的偏见。

    Apr, 2023

  • LLMs 中性别偏见的揭示与减轻

    大语言模型可以生成具有偏见的回答。然而，先前的直接探测技术包含性别提及或预定义的性别刻板印象，这些很难全面收集。因此，我们提出了一种基于条件生成的间接探测框架，旨在诱使大语言模型揭示其性别偏见，即使没有显式的性别或刻板印象提及。我们探索了三种不同的策略来揭示大语言模型中的显式和隐式性别偏见。我们的实验证明，所有经过测试的大语言模型都表现出显式和 / 或隐式的性别偏见，即使输入中没有性别刻板印象。此外，模型大小的增加或模型对齐会放大大多数情况下的偏见。此外，我们通过超参数调整、指导性指导和去偏调整这三种方法来研究大语言模型中的偏见缓解。值得注意的是，即使没有显式的性别或刻板印象，这些方法也被证明是有效的。

    Feb, 2024

  • 使用反事实例子来探究视觉语言模型中的交叉偏见

    通过使用文本到图像扩散模型和稳定扩散与交叉注意力控制方法，在产生大规模的反事实图像 - 文本对的基础上，揭示了现有的先进视觉 - 语言模型中存在的交叉社会偏差。

    Oct, 2023

  • 通过一个新的平行图像数据集研究大型视觉语言模型中的性别和种族偏见

    通过查询大规模视觉语言模型，我们观察到在输入图像中人物的性别和种族上存在显著差异，针对此问题我们提出了新的数据集 PAIRS （每日场景的平行图像），并研究了大规模视觉语言模型中的性别和种族偏见。

    Feb, 2024