本文研究了如何解决多个注释器提供的有噪声的标签的问题，提出了一种同时学习个体注释器模型和真实标签分布的方法，并通过正则化项促进收敛于真实注释器混淆矩阵的方法，在图像分类任务上实验结果表明，该方法能够估计注释器的技能并表现出良好的性能。

Feb, 2019

本文提出了一种与多个标注者的混淆有关的置信模型学习方法，通过对分类器网络添加熵或基于信息的正则化器来鲁棒地估计给定仅含有噪声标签的预测，并在 MNIST、CIFAR-10 和 FMNIST 等数据集上进行了实验，实验结果表明该方法在各项指标上均优于或与其他现有方法表现相当。

Jan, 2023

本文提出了一种无监督的概率模型来处理二元和多类标签，自动评估每个标注者的实例可靠性和每个实例的正确标签。实验结果表明，该方法不仅可以准确评估不同实例上的标注者可靠性，而且在预测正确标签和检测最不可靠的标注者方面也能够实现优于现有技术的性能。

May, 2019

本文提出了一种简单的 Monte Carlo Dropout 算法，可以显式地量化神经网络输出的不确定性，利用此种不确定性可以解释模型复杂现象、如情感识别，此外也可以用于辨别主观标记样本和数据偏差的问题。

Sep, 2019

研究人员提高了对聚合标签的伤害的认识，特别是在自然存在人类标注员之间存在分歧的主观任务中。本文展示了仅仅提供聚合标签的模型在高度分歧的数据实例上表现出较低的置信度。我们认为过去的研究将这些实例视为标注错误，但我们认为高度分歧的文本实例难以学习的原因是传统的聚合模型在从主观任务中提取有用信号方面表现不佳。受最近一些研究表明从原始标注中学习的有效性的启发，我们研究了使用多个真实标准的分类方法。我们的实验显示在高度分歧实例上有置信度的提高。

Mar, 2024

对卫星影像的分类中，使用多个标记者的多次标记结果，通过贝叶斯方法中的 Dirichlet-Multinomial 模型，在 K 维空间中对标记结果进行嵌入，以解决不确定性量化和分类中的模糊性问题。

Nov, 2023

本文主要研究了数据注释和训练方法在客观单标签分类任务中的局限性，并提出了使用软标签的方法来改善性能。

Nov, 2023

在主动学习设置中，多头模型在不确定性估计方面显着优于单头模型。通过设计和评估具有特定标注员头的获取函数在两个数据集上，我们展示了群体级别的熵在两个数据集上表现良好。重要的是，它在预测和不确定性估计方面的性能与全量训练相当，同时节约高达 70% 的标注预算。

Oct, 2023

在真实应用中经常遇到标签模糊的数据，其中不同的标注者会给出冲突的类别标签。部分标签学习允许在这种弱监督的环境下训练分类器。虽然最先进的方法已经具有良好的预测性能，但它们经常受到错误校准的不确定性估计的影响。然而，拥有良好校准的不确定性估计在医学和自动驾驶等关键领域中尤为重要。本文中，我们提出了一种基于邻近 - 邻居的部分标签学习算法，利用了 Dempster-Shafer 理论。对人工和真实数据集的大量实验证明，所提出的方法提供了良好校准的不确定性估计，并取得了有竞争力的预测性能。此外，我们证明了我们的算法是风险一致的。

Feb, 2024

通过多任务学习和基于损失的标签修正，我们提出了一种学习多样化意见更准确表达的方法，并展示了该方法在单个或多个注释者注释情况下改善预测性能的能力，同时对主观数据应用的附加标签噪音也表现出鲁棒性。

Nov, 2023