本研究评估了三种类型的词嵌入性别偏见度量的可信度，包括测试再测试可靠性、评分者一致性和内部一致性，并考察了不同随机种子、评分规则和单词选择等因素对可信度的影响，结果有助于更好地设计性别偏差度量，同时也建议研究者对这些度量的应用更加持批判态度。

Sep, 2021

研究探讨最近四种基于 BERT 的方法是否具有可重复性，发现研究结果通常由于未进行文档化的预处理、缺失代码、报告基准度量产生更弱的结果等原因而失败，一个问题源于将分数与错误的 csv 文件列相关联而使得分数高 5 点。同时，该研究还证明了预处理方法对 BMP 预测影响巨大，而该影响可能比聚合机制还要大。

Mar, 2022

本研究提出了一种基于 NLP 方法的关键词分析的偏差分析方法，实验结果表明该方法在不同基准数据集上具有与现有先进方法相当的效果。

Oct, 2022

本文介绍了一项对于基于句法的方面级情感挖掘的三种著名算法的经验可重复性研究，表明由于预处理和参数设置缺少细节以及缺乏可用的代码实现以阐明细节，再现结果仍然是一项困难的任务，这是该领域的重要研究威胁。因此，鼓励代码驱动的研究在帮助研究人员更好地理解最新技术意义和生成持续进展方面具有关键作用。

Jan, 2017

该论文提出了一种基于 WEAT 和 SEAT 的方法来量化评价指标中的社会偏见，发现在一些基于模型的自动评价指标中也存在广泛的社会偏见，并构建了性别交换的元评价数据集来研究在图像标题和文本摘要任务中性别偏见的潜在影响。结果表明，基于模型的评价指标在评估中给予男性假设更多的偏好，并且在性别交换后评估指标与人类判断之间的相关性通常具有更大的变化。

Oct, 2022

该研究对分布式词向量空间中的偏见效应进行了系统性分析，研究表明：偏见效应在不同的词向量模型、文本类型和语言之间是不一致的，同时，双语词向量空间中的跨语言偏见也是存在的。该研究以期促进自然语言处理中的偏见研究，为偏见缓解技术的发展提供帮助。

Apr, 2019

调查表明，对于预训练语言模型的公平度和偏见进行度量的大量指标之间的比较以及使用这些指标进行评估的工作仍然困难，如果不是完全不可能的。建议避免基于嵌入的指标，并专注于下游任务中的公平度评估，以提高未来的公平度比较和评估。

Dec, 2021

研究表明单词嵌入存在性别偏见，过去常常以男女性词对来衡量性别偏见，但这种方式存在局限性，因为它们无法识别现实世界中的其他类型偏见，并且不能很好地指示偏见。

Oct, 2020

本研究基于模板方法提出了一种量化 BERT 中偏见的方法，并且通过性别代词解析的案例研究证明了该方法在捕捉社会偏见方面的优越性，同时也指出了该方法的普遍适用性，包括在多类别设置中使用的种族和宗教偏见。

Jun, 2019

研究机器学习算法偏差对预测精度的影响时，应考虑稳定性因素，本文提出了一种基于概念一致性的稳定性度量方法，讨论了稳定性、预测精度和偏差之间的关系。

Dec, 2002