本研究调查了语言模型中 Token Classification 任务位置偏差对性能的影响，提出 Random Position Shifting 和 Context Perturbation 两种方法缓解该影响，并在实验中发现这两种方法可提高模型在 CoNLL03、UD_en 和 TweeBank 三个数据集上的性能大约 2%。

Apr, 2023

本篇论文调查了 209 篇关于自然语言处理模型中的偏差的论文，提出了社会人口统计学偏见的定义，并确定了研究偏见的三个主要类别：偏见类型，偏见度量和去偏见。作者总结说，目前的去偏见技术是肤浅的，不能真正消除偏见；最后提供了未来工作的建议。

Jun, 2023

人们对语言的认知取决于个人背景，如性别和种族。本研究利用包含不同人口背景注释的 POPQUORN 数据集，对四种常见的大型语言模型进行一系列实验，以调查它们理解群体差异和对礼貌和冒犯性的预测中的潜在偏见。结果发现，模型的预测更接近来自白人和女性参与者的标签。我们进一步探索了带有目标人口统计标签的提示，证明仅仅包含目标人口统计标签会削弱模型的性能。我们的结果表明，大型语言模型在主观性自然语言处理任务上存在性别和种族偏见，并且仅仅利用人口统计学提示可能无法消除这种影响。

Nov, 2023

本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。

Mar, 2022

自然语言推理（NLI）是评估人工智能语言理解的基础。我们认为，现有模型在模糊的例子上失败并且表现出差劲的泛化能力，这是由于忽视了意义的主观性，它与个体的世界观密切相关。我们提出了一种观点主义的方法：构建捕捉注解者人口统计、价值观和标签理由的数据集。这样的数据集将明确地建模多样化的世界观。我们对 SBIC 数据集的一个子集进行的初步实验表明，即使是有限的注解者元数据也能提高模型的性能。

May, 2024

本论文提出了一个对自然语言文本中的性别偏见进行分解的通用框架，通过多维度的性别偏见分类器可以控制生成模型性别偏差的问题，检测任意文本中的性别偏见，并揭示与性别相关的冒犯性语言。

May, 2020

本文提出了一种弱监督的方法来检测在更广泛的地理文化背景下的词汇偏见，通过公开获取的有毒检测模型案例研究，展示了我们的方法如何识别跨地理误差的显著群体，并展示这些分组如何反映这些地理背景下人类对攻击性和无攻击性语言的判断.

Apr, 2021

快速增长的自然语言处理在各种社会技术解决方案中的使用和应用突显了对偏见及其对社会的影响的全面理解的需求。虽然 NLP 中的偏见研究得到了扩展，但仍存在一些需要关注的挑战，包括有限地关注种族和性别以外的社会人口偏见、主要集中在模型上的狭窄分析范围，以及技术为中心的实施方法。本文解决了这些挑战，并倡导一种更加跨学科的方式来理解 NLP 中的偏见。该工作分为三个方面，每个方面探索 NLP 中的特定偏见方面。

Aug, 2023

本文研究了神经自然语言处理系统是否反映了训练数据中的历史偏见。通过定义量化神经自然语言处理任务中的性别偏见的基准测试，实证研究发现目前最先进的神经语言模型和基于基准数据集的循环神经网络在职业看待上存在显著的性别偏见。作者提出了一种基于因果干预的语料库增强通用方法，CDA，以减轻偏见而保留矫正前的准确性。作者发现 CDA 优于词嵌入去偏的先前方法，尤其是在词嵌入训练时；对于预先训练的嵌入，两种方法可以被有效地组合。作者还发现原始数据集在优化时会鼓励性别偏见增加；而 CDA 可以缓解这种行为。

Jul, 2018

通过调查 ACL 文献集中涉及种族的 79 篇论文，发现 NLP 模型开发各阶段都存在各种类型的种族相关偏见，并强调需要积极考虑如何维护种族等级制度，但在种族和 NLP 研究方面仍存在缺口：将种族作为固定单一维度变量运作，对历史上种族歧视造成的差异加以强化；在 NLP 文献中历史上处于边缘的特定人群的声音几乎没有被重视。因此，我们的工作呼吁在 NLP 研究实践中包容种族和实现种族公正。

Jun, 2021