May, 2021

自然语言推断中的性别偏见评估

PDF
TL;DR本文提出了一种评估方法来测量天生的性别偏见，其通过构建一项挑战任务，通过将性别中性前提与性别具体假设进行配对的方式来进行。研究发现，许多先进的 NLI 模型在使用职业数据集进行训练时会因性别偏见而出现错误，但通过通过扩充训练数据集来确保性别平衡，可以在某些情况下帮助减少此类偏差。
gender biasnatural language processingevaluation methodologynli modelsdebiasing techniques
发现论文，激发创造
  • 消除信息检索模型中的性别偏见

    研究通过引入性别缓解技术、使用预训练模型以及适配器网络，成功地减轻了性别偏见问题，并提高了信息检索的敏感性。

    Aug, 2022

  • 自然语言处理中的性别偏见调查

    本文调查了 304 篇关于自然语言处理中的性别偏见的论文，分析了社会科学中性别及其类别的定义，并将其与自然语言处理中性别偏见的正式定义联系起来，概述了应用于性别偏见研究的词汇和数据集，并比较和对比了检测和缓解性别偏见的方法。我们发现性别偏见研究存在四个核心限制，提出了解决这些限制的建议作为未来研究的指南。

    Dec, 2021

  • 考虑所有标签来评估预训练语言模型在自然语言推理中的性别偏见

    本文提出了一种考虑自然语言推理任务中所有标签的评估方法来评估预训练语言模型中的偏见，并通过对多种语言的模型进行元评估，证明该方法能够更准确地评估偏见。此外，本文还是首次在日语和中文的自然语言推理任务中构建评估数据集并测量预训练语言模型的偏见倾向。

    Sep, 2023

  • 自然语言处理中减轻性别偏见：文献综述

    本文回顾了当今关于识别和减轻 NLP 中的性别偏置的研究，并分析了四种代表性偏置基础上的性别偏见和认识其方法，同时探讨了现有性别去偏方法的优缺点和未来的研究。

    Jun, 2019

  • 神经自然语言处理中的性别偏见

    本文研究了神经自然语言处理系统是否反映了训练数据中的历史偏见。通过定义量化神经自然语言处理任务中的性别偏见的基准测试，实证研究发现目前最先进的神经语言模型和基于基准数据集的循环神经网络在职业看待上存在显著的性别偏见。作者提出了一种基于因果干预的语料库增强通用方法，CDA，以减轻偏见而保留矫正前的准确性。作者发现 CDA 优于词嵌入去偏的先前方法，尤其是在词嵌入训练时；对于预先训练的嵌入，两种方法可以被有效地组合。作者还发现原始数据集在优化时会鼓励性别偏见增加；而 CDA 可以缓解这种行为。

    Jul, 2018

  • 自然语言处理偏差研究中 “性别” 理论

    该研究回顾了近 200 篇关于 NLP 中有关性别偏见的文章，发现大部分文章没有明确说明他们如何理解性别，甚至没有使用包容性的模型，对非二元性别人群的存在和经验忽视，提出建议以便在 NLP 研究中融入女性学理论和方法，以期实现更加包容的性别偏见研究。

    May, 2022

  • 机器翻译中性别偏见的评估

    本研究利用两个共指解析数据集，通过 8 种有语法性别的目标语言中的形态分析，第一次提出了机器翻译中性别偏见的挑战集和评估协议，并发现四个流行的工业机器翻译系统和两个最新的学术机器翻译模型在所有测试的目标语言上都容易出现性别偏见翻译错误。

    Jun, 2019

  • 使用语法性别暗示进行机器翻译偏见评估：性别落地还是偏见施加

    神经机器翻译（NMT）模型是机器翻译的先进技术，但这些模型被发现存在各种社会偏见，尤其是性别偏见。本文以印地语作为源语言，构建了两组性别特定的句子集（OTSC-Hindi 和 WinoMT-Hindi），用于自动评估不同的印地 - 英文（HI-EN）NMT 系统是否存在性别偏见。本研究强调了设计此类外在偏见评估数据集时考虑语言特性的重要性。

    Nov, 2023

  • 公平自然语言生成的定义和评估

    本文针对自然语言生成任务中出现的偏见展开研究，并提出一个公平性框架加以评估，分析发现现有的语言生成模型存在性别偏见。

    Jul, 2020

  • 文本中的性别偏见：标记数据集和词库

    该研究的主要贡献是，通过收集、注释和增强相关句子以促进检测英文文本中的性别偏见，公开提供已标记的数据集和详尽的词汇表，其中所包含的偏见子类型包括：通用他，通用她，明确标记性别和性别新词。同时，利用词嵌入模型进一步增强了所收集的词汇表。

    Jan, 2022