Oct, 2023

众所周知：众包和集成学习分类中的标签聚合

PDF
TL;DRCrowd-Certain 是一种在众包和集成学习分类任务中进行标签聚合的新方法，通过评估标注者的一致性和受训分类器，确定每个标注者的可靠性分数，并利用预测概率实现对未来样本数据的训练分类器的复用，大幅提升性能和计算效率。在对十个不同数据集进行了广泛评估后，Crowd-Certain 几乎在所有场景中优于现有的十种方法，提供更高的平均准确率、F1 分数和 AUC 率。另外，我们引入了两种现有置信度评估技术的变体，并通过两种评估指标（期望校准误差和 Brier 得分损失）对其进行了评估，结果表明 Crowd-Certain 在大部分数据集上具有更高的 Brier 得分和更低的校准误差，表明结果的校准更好。
crowdsourcing systemslabel aggregationensemble learningreliability scoreclassification tasks
发现论文，激发创造
  • 众包的监督集体分类

    本论文提出一种有监督的集成分类算法，旨在确定训练数据（例如，具有已知标签的项目）中可靠的标注者（即加权因子），使用马鞍点算法来确定每个标注者的可靠性，研究结果表明，有监督的方法可以比无监督的方法获得更好的分类准确性，而我们提出的方法优于其他算法。

    Jul, 2015

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020

  • 耦合混淆纠正：从带有稀疏注释的众包中学习

    采用耦合混淆校正的方法对众包注释进行学习，通过双层优化，使模型能够更好地校正系统学习到的混淆矩阵，同时根据注释者群体的相似性进行聚类，从而更好地捕捉注释者的专业知识，特别是对于很少提供标签的注释者。此外，使用 Beta 分布来生成众包注释，以使合成注释与真实世界的注释更一致。大量实验表明，该方法明显优于现有的方法。

    Dec, 2023

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 众包深度学习

    本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

    Sep, 2017

  • 基于群众标注的多视角知识蒸馏用于领域外泛化

    本文提出了新的方法以通过温度调节和 Jensen-Shannon 中心法从众包注释中汇总多个视角的分布，从而获得软标签。我们展示了这些聚合方法在四项自然语言处理任务中表现出最佳或接近最佳的性能，同时还验证了这些方法在任务不确定性估计上表现最佳。

    Dec, 2022

  • 半监督式人群计数的不确定性校准

    半监督式人群计数中，通过使用伪标签和不确定性选择可靠的伪标签来训练模型的一种新方法，该方法通过匹配的基于补丁的代理函数更好地近似了人群计数任务的不确定性，从而生成了可靠的不确定性估计、高质量的伪标签，并达到了最新技术水平。

    Aug, 2023

  • 基于置信度的部分标签学习模型用于众包标注命名实体识别

    使用 CPLL 模型整合多注释者标签和先验、后验置信度，通过 EM 算法学习标记和内容相关的置信度，以解决命名实体识别中多注释者标签一致性问题，并在实际和合成数据集上得到有效提升。

    May, 2023

  • 使用不完美标签进行人群密度估计

    本文研究了深度学习模型在使用不完美标注的人群图像数据进行密度估算时的鲁棒性，提出了一种使用自动生成的不完美标注数据训练的方法以代替标注错误数据的方法。实验结果表明，该方法可以更接近于使用完美标注数据训练的人群计数模型的准确度。

    Dec, 2022

  • 众包和 LLM 的注释质量比较研究

    通过对现有众包数据集进行评估，从不同的角度研究了个体众包标签和大语言模型标签的质量，提出了一种众包 - 大语言模型混合标签聚合方法并验证了其性能，发现将优质大语言模型的标签与现有众包数据集相结合能提高数据集的聚合标签质量，且高于大语言模型标签自身的质量。

    Jan, 2024