Apr, 2021

揭开口罩 —— 评估蒙面语言模型中的社会偏见

PDF
TL;DR本文提出了一种名为 AUL 并基于 attention weights 的 Alle Unmasked Likelihood 方法，用于检测 Masked Language Models 中的社会偏见，并发现以前的评估指标存在一系列问题，例如不考虑掩码的预测精度和测试集中的高频词掩码等问题。
masked language modelssocial biasesevaluation metricsall unmasked likelihoodattention weights
发现论文，激发创造
  • 通过预测质量的代理方法测量掩盖语言模型中的社会偏见

    通过使用迭代的蒙板实验测量变压器模型的预测质量，并评估多层语言模型对于劣势群体和优势群体的偏好，我们比较了两个基准数据集上的偏见估计结果，并发现在考虑的多层语言模型中具有相对较高的宗教和残疾偏见，而在一个数据集中相对较低的性别偏见。我们的测量方法在与人类注释者的一致性方面表现优于其他方法。我们通过评估在蒙版语言建模目标下重新训练多层语言模型后引入的社会偏见进行扩展，并发现我们提出的测量方法比其他方法更准确地估计了变压器之间具有偏见的句子的相对偏好。

    Feb, 2024

  • 多语言遮蔽语言模型中的性别偏见

    通过提出多语种偏差评估模型（MBE）和手动创建的数据集对八种语言的语言模型进行评估，证实了所有这些语言中均存在针对性别相关的偏差，同时在日语和俄语中的手动创建的数据集与 MBE 评分存在显著相关性。

    May, 2022

  • 构建面向掩蔽语言模型社会偏见的整体度量

    本文利用高斯分布提出了 KLDivS 和 JSDivS 两种新的评估社会偏见的度量方法，并在公共数据集 StereoSet 和 CrowS-Pairs 上进行了实验，结果表明 KLDivS 和 JSDivS 比过去提出的度量方法更稳定和可解释。

    May, 2023

  • 预训练遮蔽语言模型中社会偏见和任务表现的预测因素分析

    为了研究预训练遮蔽语言模型 (Masked Language Models) 的模型因素与所学习的社会偏见之间的关系，以及模型的下游任务性能，我们对 39 个不同模型大小、训练目标、分词方法、训练数据领域和语言进行了全面的研究。结果揭示了一些在先前文献中常被忽视的重要因素，如分词或模型目标。

    Oct, 2023

  • UnMASKed: 通过语言学知识的职业市场提示量化遮蔽语言模型中的性别偏见

    该研究通过评估六个主要的语言模型（BERT，RoBERTa，DistilBERT，BERT-multilingual，XLM-RoBERTa 和 DistilBERT-multilingual）并采用包含鼓励模型生成英语主题代词和要求模型返回与性别代词相关的动词、副词和形容词概率的提示来调查遮蔽语言模型中固有的偏见，尤其是性别偏见。分析结果显示所有模型存在性别刻板印象，而多语言变体的偏见相对较小。

    Jan, 2024

  • 评估掩码语言模型中的社会偏见的鲁棒评估度量

    我们通过将伪对数似然（PLL）得分集表示为高斯分布，并使用 KL 散度和 JS 散度构建评估措施，以评估刻板化和反刻板化 PLL 得分的分布，发现我们提出的措施在公开可用的数据集 StereoSet（SS）和 CrowS-Pairs（CP）上显示出显著的鲁棒性和可解释性。

    Jan, 2024

  • 使用成员推断攻击量化掩码语言模型的隐私风险

    使用类似于似然比假设检验的成员推理攻击方法，我们发现面向医疗笔记的掩模语言模型泄漏训练数据的隐私风险非常高，表现为先前攻击的 AUC 从 0.66 提高到 0.9 级别，并且在低误差区域有显着提高：在 1％误报率的情况下，攻击效果比先前攻击提高了 51 倍。

    Mar, 2022

  • 多语言遮蔽语言模型中的性别偏见评估

    通过多种评估指标，提出了一种多语言方法来估计基于 Transformer 的遮掩语言模型中的性别偏见。同时，通过与传统的基于词典的方法相比，提出了一种基于模型的方法，以更全面和稳健地分析性别偏见。

    Apr, 2024

  • 掩盖语言模型和下游情感分类任务中对 93 个受污名化群体的偏见

    本研究旨在通过检测自然语言处理中的倾向性，确定人工智能模型的偏见和风险，并揭示这些模型对社会中处于弱势地位、受到歧视的群体的影响。结果表明，预训练的 MLMs（Masked Language Models）和他们的下游情感分类器存在着对社会中处于弱势地位、受到歧视的群体的偏见。

    Jun, 2023

  • 评估社交媒体数据和屏蔽语言模型中短期时间波动的社交偏见

    分析表明，尽管社会偏见存在于所有 MLMs 中，但大多数类型的社会偏见在时间上相对稳定（有几个例外）。进一步分析影响 MLMs 社会偏见的机制，我们发现在训练语料库中，某些人口群体（如男性）一直相对于其他人口群体（如女性）更受偏好。

    Jun, 2024