通过两项在线研究探究了评注者身份和信仰对有毒语言的评注的影响，发现评注者的身份和信仰与有毒性评分之间有很强的关联，表明对有毒语言的注释需要在社会变量中予以情境化考虑，进而提高有毒语言的注释和检测的准确性。

Nov, 2021

在线空间中的毒性问题是一个日益普遍且严重的问题，因此，过去十年的机器学习研究重点放在计算检测和缓解在线毒性上。然而，由于历史上此类标注往往存在较低的一致性，最近的研究指出了在构建和利用这些数据集时考虑这一任务的主观性的重要性，并激发了对评定者不一致性进行分析和更好理解以及如何将其有效纳入机器学习开发流程的研究。虽然这些努力填补了重要的空白，但缺乏更广泛的评定者不一致性根本原因的框架，因此我们将这项工作置于更广泛的背景之上。在这篇综述论文中，我们分析了关于在线毒性评定者不一致性原因的大量文献，并提出了详细的分类法。此外，我们还总结和讨论了针对每个不一致性原因的潜在解决方案，并讨论了几个能促进未来在线毒性研究发展的开放问题。

Nov, 2023

在线毒性讨论的普及和影响使内容管理至关重要。自动化系统在识别有毒评论和减少对人工管理的依赖方面起着至关重要的作用。然而，识别多样化社区的有毒评论仍然存在挑战，本研究对此进行了探讨。

Nov, 2023

本研究探讨不同训练策略如何利用少量人工注释标签和大量但带有偏见的合成标签（针对身份群体）来预测在线评论的毒性，并评估了这些方法的准确性和公正性。虽然最初使用所有数据进行训练并在干净数据上微调能够产生具有最高 AUC 的模型，但同时我们发现没有一种策略在所有公正度量标准上表现最佳。

Oct, 2021

本研究调查了 17280 名互联网用户对什么构成毒性内容的期望不同，发现那些历史上处于骚扰风险中的群体更可能将 Reddit、Twitter 或 4chan 上的随机评论标记为有毒，而那些亲身经历过骚扰的人也更可能这样做。基于我们的发现，我们展示了目前的一款面向所有用户的毒性分类算法 Perspective API，如何通过个性化模型调整平均提高 86％的准确性。最终，我们强调当前的缺陷和新的设计方向，以提高毒性内容分类器的公平性和效果。

Jun, 2021

研究评论标注者的人口统计数据如何影响模型的公平性，探讨男性和女性对评论进行标注的差异对造成的偏见，通过预处理训练数据、使用女性标注数据培训模型，可以减少性别偏见并提高模型准确性。

Jun, 2021

该论文评估了多种最先进的模型，特别关注减少模型对一些少数群体的偏见，提出了一个多任务学习模型以及一系列深度学习模型，并使用特定的指标测试这些身份群体中意料之外的模型偏见。

Sep, 2019

本文比较评估了使用 transformers 和传统机器学习模型在 Jigsaw 最近发布的毒性严重度测量数据集上的表现，并通过可解释性分析展示了模型预测中的问题。

Jun, 2022

通过研究定义 ' 伤害 ' 的方式是否影响注释结果，我们发现研究者定义 ' 令人讨厌 '、' 冒犯 ' 和' 有害 ' 这些伤害概念时，注释员并不将它们看作同义词，且伤害定义的特征和注释员的个人特点解释了他们在使用这些术语上的差异，结果表明我们不应该将这些伤害概念在内容监控研究中互换使用，研究者应根据研究目标明确选择要分析的伤害概念，并在概念与现有有害内容检测算法识别的概念不同时提供界定结果的信息，同时鼓励算法提供者确保其工具能够适应特定上下文的内容检测目标（例如征求工具用户的反馈）。

Sep, 2023

通过使用不变量理性化 (InvRat) 方法，我们可以降低对某些语法模式的误判，从而避免使用带有偏见的训练数据集导致毒性过滤器产生偏见，进而加剧群体边缘化的现象。

Jun, 2021