MiSC: 混合策略众包
提出了一种信息论方法,Max-MIG,可以同时聚合众包标签和学习准确的数据分类器,并设计了一个准确的数据 - 众包预测器,可以预测信息结构未知的众包数据准确性。
May, 2019
本文提出了一种快速评判用于二元和分类标签的技术,避免所有错误,快速评判的同时通过随机任务顺序和建模响应延迟来纠正错误,通过广泛的标记任务验证,相较于之前工作实现的 0.25x 到 1x 的加速,我们的方法通常实现 10 倍的加速效果。
Feb, 2016
通过对现有众包数据集进行评估,从不同的角度研究了个体众包标签和大语言模型标签的质量,提出了一种众包 - 大语言模型混合标签聚合方法并验证了其性能,发现将优质大语言模型的标签与现有众包数据集相结合能提高数据集的聚合标签质量,且高于大语言模型标签自身的质量。
Jan, 2024
本研究提出 MISC 模型,实现了对用户细粒度情感状态的推断,进而采用混合策略巧妙地应对情感支持对话中的问题和用户需求,实验结果表明,本方法在 fine-grained 情感理解和 mixed-up 策略建模方面效果显著。
Mar, 2022
本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法,该算法基于变分推断,可以比无监督众包分类更有效地对人工注释信息进行聚合,该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。
Dec, 2020
在线众包平台的真实性发现算法在聚合多个标注人的注释时起着重要作用,本论文提出了一种适用于在线众包环境的新方法,能够在有效平衡成本(即标注数量)和注释质量的同时,对一般复杂注释(如边界框和分类路径)进行推断,该方法以 label 者的准确度为线性期望平均相似度,经过对 Meta 真实众包数据的广泛评估后,展示了我们提出的在线算法在改善成本 - 质量权衡方面的有效性。
Jan, 2024
本文提出了新的方法以通过温度调节和 Jensen-Shannon 中心法从众包注释中汇总多个视角的分布,从而获得软标签。我们展示了这些聚合方法在四项自然语言处理任务中表现出最佳或接近最佳的性能,同时还验证了这些方法在任务不确定性估计上表现最佳。
Dec, 2022
本研究提出了一种新的工人选择算法,利用组合多臂老虎机方法和数据增强方法来提高序列标注任务中的注释质量和降低成本,测试结果表明该算法的效率得到了显著提高。
May, 2023
该文研究了协作移动众包感知的工人招聘,提出了一种通过 Mini-Batch K-Means 聚类算法和 GCN 模型获取工人间信任关系进行更高效的招聘,并通过 TSR 算法优化选取多目标任务效用的平衡工人集合的策略,实验结果表明优于其他策略。
Jun, 2023