该研究提出了一种名为 LA-SCA 的框架，利用序列注释中的专家间的互相不一致性来探索不确定性和歧义，从而有效地保留混淆标签信息。通过建立层次贝叶斯模型来从人群中推断出真实数据并将相对可靠的标注者分组，计算可靠标注者之间的互相不一致性来获取标签混淆信息，并在成本敏感的序列标注中加以应用。实验结果表明，该框架在从人群中推断真实数据、预测未知序列和揭示具有相似可靠性的标注者的标注模式方面均表现出竞争力。

Jan, 2023

本文提出一种基于数据驱动的主动标签清理方法来解决数据注释中的标签噪音问题，通过对样本进行优先级排序，提高数据集质量，具有较好的可行性和高效性。

Sep, 2021

在主动学习设置中，多头模型在不确定性估计方面显着优于单头模型。通过设计和评估具有特定标注员头的获取函数在两个数据集上，我们展示了群体级别的熵在两个数据集上表现良好。重要的是，它在预测和不确定性估计方面的性能与全量训练相当，同时节约高达 70% 的标注预算。

Oct, 2023

通过两个机器学习模型之间的 KL 散度最小化以及数据观测的最大似然，提出了从有噪标签中学习鲁棒的机器学习模型的新框架，并在二元标签场景和多标签场景中进行了实验，结果表明该方法显著提高了模型性能。

Aug, 2023

本文中，我们开发了一个统计框架来建模和检测标注者的位置偏差，并采用新型 knockoff 过滤器和基于反比例尺度动力学的算法来控制虚警率，为定量研究众包数据中的标注者异常行为提供了一种有用的工具。

May, 2016

本文讲述了如何利用预训练语言模型降噪数据集，提出了两种任务：注释不一致检测和注释错误更正。作者使用新的可信度分数来检测不一致性，并用两种方法来更正注释。此外，通过重新注释创建了一个新数据集 Re-DocRED，自动降噪训练集将对关系抽取模型产生多达 3.6％的性能提高。

May, 2022

本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

Dec, 2020

本文提出一种使用 “超集学习” 框架来处理标签噪声的方法，将目标信息进行模糊化，并添加额外的备选标签，以协同改善学习器的泛化性能。实验结果表明该方法在合成和真实数据上都能有效检测和纠正错误的训练标签。

May, 2023

本文介绍了一种简单的方法，通过使用模型的预测结果，找到并重新标记噪声数据，以解决部分手动标记数据质量不高的问题，并在多项深度学习任务中取得 90 分以上的成绩。实验结果和人类评价结果验证了该方法的有效性。

Feb, 2023

本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

Feb, 2019