该论文评估了多种最先进的模型，特别关注减少模型对一些少数群体的偏见，提出了一个多任务学习模型以及一系列深度学习模型，并使用特定的指标测试这些身份群体中意料之外的模型偏见。

Sep, 2019

在线毒性讨论的普及和影响使内容管理至关重要。自动化系统在识别有毒评论和减少对人工管理的依赖方面起着至关重要的作用。然而，识别多样化社区的有毒评论仍然存在挑战，本研究对此进行了探讨。

Nov, 2023

基于主观分类任务，我们提出了适用于文本的 Annotator Aware Representations (AART) 方法，旨在改善采集标注者观点性能，并学习标注者行为特征。

Nov, 2023

在线空间中的毒性问题是一个日益普遍且严重的问题，因此，过去十年的机器学习研究重点放在计算检测和缓解在线毒性上。然而，由于历史上此类标注往往存在较低的一致性，最近的研究指出了在构建和利用这些数据集时考虑这一任务的主观性的重要性，并激发了对评定者不一致性进行分析和更好理解以及如何将其有效纳入机器学习开发流程的研究。虽然这些努力填补了重要的空白，但缺乏更广泛的评定者不一致性根本原因的框架，因此我们将这项工作置于更广泛的背景之上。在这篇综述论文中，我们分析了关于在线毒性评定者不一致性原因的大量文献，并提出了详细的分类法。此外，我们还总结和讨论了针对每个不一致性原因的潜在解决方案，并讨论了几个能促进未来在线毒性研究发展的开放问题。

Nov, 2023

本文探讨了标注者自我描述身份对在线评论毒性注释的影响，并提出了自我描述身份形成特定标注者池的概念。我们发现，使用与评论主题相同自我描述身份的标注者会为标注提供更具包容性和细微差别的结果，从而训练出更准确的机器学习模型。

May, 2022

本研究专注于评估数据集的可信度，鉴定标签错误，并评估噪声标签对语言数据的影响，特别关注不安全评论和对话分类，通过直接修复标签错误来显著提高数据的可信度和下游学习性能，说明清理现有的真实世界数据集的重要性。

Nov, 2023

本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

Oct, 2021

研究评论标注者的人口统计数据如何影响模型的公平性，探讨男性和女性对评论进行标注的差异对造成的偏见，通过预处理训练数据、使用女性标注数据培训模型，可以减少性别偏见并提高模型准确性。

Jun, 2021

本论文介绍了两个基准数据集 CIFAR-10N 和 CIFAR-100N，使用这些数据集可以更好地理解真实世界嘈杂标签和合理地处理它们，量化和定性显示真实世界嘈杂标签表现出依赖于实例模式，与传统的基于类假设和合成标签的模式不同。并且，还通过与人工噪声和类依赖的合成噪声的对比研究，研究了记忆正确和错误预测的情况，从而表明真实世界的噪声模式比合成噪声模式更具挑战性，需要重新考虑带噪标签的学习问题。

Oct, 2021

研究了毒性语言分类器的公正性，考虑了与身份术语之外的重要概念的交互作用，表明身份术语将其它输入特征的作用超越，所得知识可指导去偏见技术以确保训练集中重要概念的充分代表。

Oct, 2022