May, 2023

自动评估指标中的性别偏见：以图像字幕为例的案例研究

PDF
TL;DR本论文通过系统的调研，研究发现了预训练模型存在性别偏见的问题，探讨了预训练模型在图像字幕生成任务中的公平性影响，并提出了一种针对这种问题的解决方案：结合 n-gram 匹配和预训练模型评估度量，以减少性别偏见的影响。
pretrained modelsfairnessgender biasesimage captioningevaluation metrics
发现论文，激发创造
  • 自然语言生成自动评估度量中的社会偏见

    该论文提出了一种基于 WEAT 和 SEAT 的方法来量化评价指标中的社会偏见，发现在一些基于模型的自动评价指标中也存在广泛的社会偏见，并构建了性别交换的元评价数据集来研究在图像标题和文本摘要任务中性别偏见的潜在影响。结果表明，基于模型的评价指标在评估中给予男性假设更多的偏好，并且在性别交换后评估指标与人类判断之间的相关性通常具有更大的变化。

    Oct, 2022

  • 揭示和纠正图像字幕数据集和模型中的性别偏见

    本文研究了 COCO 图像描述数据集中的性别偏见对训练模型的影响以及如何通过解耦图像描述和性别分类的方法来消除偏见。

    Dec, 2019

  • 评估性别中性预训练视觉与语言模型的偏见和公平性

    在这项研究中，我们以性别偏见为案例研究，通过量化预训练和微调对三类视觉与语言模型中的偏见放大进行分析，研究了这两个学习阶段之间的联系，并评估了偏见放大对模型性能的影响。总体来说，我们发现预训练和微调中的偏见放大是相互独立的。接着，我们研究了对性别中性数据的持续预训练对 VQAv2 和检索任务的影响，发现这种方法可以减少群体间的差异并提升公平性，而不会显著影响任务性能。

    Oct, 2023

  • 模型无关性别去偏见图像描述

    本文提出名为 LIBRA 的框架，通过学习从合成有偏差的样本中减少性别偏见，从而降低图像字幕模型中的两种性别偏见类型：利用上下文以预测性别的偏见以及因性别导致生成某些（通常是刻板印象的）词语的概率的偏见。

    Apr, 2023

  • 女性也滑雪板：克服标题模型中的偏见 (摘要)

    本研究介绍一种称为 Equalizer 的新方法，它可以确保在场景中遮挡性别证据时具有平等的性别概率，并在存在性别证据时具有自信的预测，以减轻描述数据集中不想要的偏见的影响。此模型在描述含人物的图像时预测其性别的错误率低于以前的工作，并更接近包括女性句子和包括男性句子的语句的实际比率。

    Jul, 2018

  • 量化和减少预训练模型中的性别相关性

    本文通过案例研究探究了如何解决预训练模型中存在的诸如性别相关性等不良特征的问题，并提出了一些通用的技术手段以减少这些问题的出现。作者建议在训练机器学习模型时应谨慎评估这些问题，注意 seemingly innocuous 的配置差异，并专注于通用的缓解策略。

    Oct, 2020

  • 公平度量分数是否足以评估机器学习中的歧视偏见？

    论文研究了当前用于评估机器学习算法在文本数据上进行性别歧视的不足之处的度量方法，着重于 Bios 数据集上的职业预测任务，研究表明常用的性别偏差指数在训练集样本较小时具有不可靠性。

    Jun, 2023

  • AI 系统公平性：缓解语言视觉模型中的性别偏见

    本研究尝试减轻语言视觉模型中的性别偏见问题，通过研究现有数据集中性别偏见的影响程度，并提出一种缓解方法。

    May, 2023

  • 消除信息检索模型中的性别偏见

    研究通过引入性别缓解技术、使用预训练模型以及适配器网络，成功地减轻了性别偏见问题，并提高了信息检索的敏感性。

    Aug, 2022

  • 图像字幕中社会偏见放大的量化

    本文提供了对图像字幕社会偏见放大的研究，通过对传统和现代图像字幕模型的评估和对每个指标的优缺点进行了全面的研究，提出了用于研究字幕偏见放大的 LIC 度量标准，并发现仅关注受保护属性预测的偏见缓解模型意外放大了偏见。

    Mar, 2022