ACLJun, 2024

孟加拉语的背景长度变化特征的实证研究

PDF
TL;DR预训练语言模型存在各种社会偏见，本研究旨在对孟加拉语进行内在偏见测量，探讨现有偏见测量方法在孟加拉语中的必要改进，并研究上下文长度变化对偏见测量的影响，通过实验证明偏见度量指标对于上下文长度存在明显依赖性，在孟加拉语偏见分析中需要细致考虑。我们的工作为孟加拉语偏见测量提供了一个基础，我们公开提供所有资源以支持未来的研究。
pretrained language modelssocial biasesintrinsic bias measurementsbanglacontext length variation
发现论文，激发创造
  • IndiBias: 用于测量印度语境下语言模型社会偏见的基准数据集

    IndiBias 是一个专门为评估印度社会偏见而设计的全面基准数据集，它将现有的 CrowS-Pairs 数据集过滤和翻译成印地语，并利用 ChatGPT 和 InstructGPT 等大型语言模型增加了印度独特的社会偏见和刻板印象维度，同时还针对交叉偏见构建了相应的资源。该数据集包含 800 个过滤后的句子和用于不同人口统计的偏见测量元组，提供英语和印地语两种语言的版本，规模可与现有的基准数据集相媲美。通过使用 IndiBias，我们比较了十种不同的语言模型在多个偏见测量指标上的表现，发现语言模型在大多数交叉群体中表现出更多偏见。

    Mar, 2024

  • 关注偏差：针对上下文语言模型的偏差检测方法的关键回顾

    本文为了解决公开领域语言模型中偏见检测的问题，就语境化语言模型偏见检测方法和静态单词嵌入偏见检测方法进行了严谨的分析和比较，发现了实现上的一些决策或错误对检测结果可能产生显著的影响，并提出了未来偏见检测方法更好、更健壮、更一致的方向。

    Nov, 2022

  • 评估和减轻多语言环境中的性别偏见

    这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战，并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准，同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。

    Jul, 2023

  • 评估印地语 - 英语机器翻译中的性别偏见

    本研究旨在评估和量化印地 - 英语机器翻译系统中的性别偏见，并实现了一种基于语法考虑的修改版本的现有 TGBI 度量标准，同时比较了预先训练的嵌入和我们的机器翻译模型所学习的嵌入的多个指标上产生的偏差测量结果。

    Jun, 2021

  • 分析多种语言 BERT 变体中存在的社会偏见

    本研究探讨了预训练语言模型在不同语言中所存在的偏见，提出了一种基于句子假设度量的模板方法来检测偏见，通过该方法分析了每个单语模型。研究发现，检测偏见的方法高度依赖于语言和文化，需要对每种语言和文化的独特表达方式进行深入了解。而与此相关的，我们假设非英语 BERT 模型中更高的社会偏见指数与其训练的用户生成内容有关。

    Nov, 2022

  • 评估孟加拉语词汇类比

    该论文提供了用于评估孟加拉语词嵌入质量的高质量数据集，该数据集对于基准测试和指导未来研究至关重要。

    Apr, 2023

  • 社会偏见探测：语言模型的公平性基准测试

    本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

    Nov, 2023

  • 测量上下文化词表示中的偏见

    本研究基于模板方法提出了一种量化 BERT 中偏见的方法，并且通过性别代词解析的案例研究证明了该方法在捕捉社会偏见方面的优越性，同时也指出了该方法的普遍适用性，包括在多类别设置中使用的种族和宗教偏见。

    Jun, 2019

  • 预训练印度语言模型的高效性别去偏见

    本文针对印度语言，量化职业中的性别偏见，并通过有效的微调方法减缓其中存在的偏见，以建立更公平的系统。

    Sep, 2022

  • 全球之音、地方偏见：跨语言的社会文化偏见

    这项研究通过对 24 种语言进行 Word Embedding Association Test (WEAT) 的扩展，以更广阔的研究视角揭示了语言模型的偏见，并通过在全球范围内捕捉有关每种语言的文化相关信息，进一步提高了数据的质量。文章还展示了对毒性、庸能主义等方面的新偏见维度的研究，并通过对印度六种常用语言进行了全面的地区偏见分析，最后通过对嵌入方法的广泛比较强调了这些社会偏见和新维度的重要性，同时强调了解决这些问题对建立更公平的语言模型的必要性。

    Oct, 2023