通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

Oct, 2021

通过提取注释者在五个主观数据集中的选票历史中的不同意标签，并微调语言模型来预测注释者的不同意。结果表明，了解注释者的人口统计信息可以帮助预测不同意见。通过模拟不同的注释者人工人口统计信息，来区分文本内容固有的争议和注释者不同观点之间的分歧，旨在通过一种新颖的分歧预测机制，改进注释流程，实现更高效和包容性的 NLP 系统。

Jan, 2023

通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

Jul, 2023

本文介绍了 AnnoBERT，它是首个将注释者特征和标签文本与基于 Transformer 的模型结合起来以检测仇恨言论的架构。通过融合标签文本来丰富文本表示， 训练过程中，模型将注释者与他们在一条文本中的所选标签相关联， 在评估时，当标签信息不可用时，使用学习到的关联预测参与注释者提供的汇总标签，该方法在检测仇恨言论方面显示出优势，特别是在少数类和注释者存在不一致的边缘情况下的性能提高最大。

Dec, 2022

本研究通过多角度标注刻画线上辱骂现象，采用可感知群体视角的深度学习模型，提出构建多个黄金标准资源，最终在集成后能有效提高现有监督分类器的准确性。

Jun, 2021

本文使用四个数据集提供的 SemEval-2023 任务 11 训练数据，并微调 BERT 模型，以捕捉反对意见。研究结果表明，单独注释者建模和聚合降低了交叉熵得分平均约为 0.21，这进一步证明注释者元数据有助于平均降低互信息损失得分约为 0.029。

May, 2023

本文提出了一种用于创建自然语言数据集的方法，通过将标注者的观点选为不同的训练集和测试集，可以提高分类器的性能和鲁棒性，为社交媒体中的恶意语言检测提供更好的数据准备。

Sep, 2021

通过分析 GPT 3.5 和 GPT 4o 在标注仇恨言论数据时存在的偏见，本研究对性别、种族、宗教和残疾等四个主要类别中高度脆弱的群体进行了偏见分析，并通过对标注数据的仔细审查，全面研究了可能导致这些偏见的潜在因素。该研究为指导研究人员和从业者充分利用大语言模型进行数据标注，从而推进这一关键领域的进展提供重要资源。

Jun, 2024

本文介绍了一种使用多个标签注释恶意在线言论的方法，强调了注释应该是细致、准确的。作者发布了一个高质量的数据集，使用六个标签注释了超过 40,000 条有关移民的推文，在此数据集上训练模型的表现优于基准数据集。

Oct, 2022

本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

Oct, 2021