研究如何在固定预算内通过在线算法在众包市场中进行任务分配,探讨了实现任务分配的几种算法及评估方案,并通过实验验证了算法的实用性。
Aug, 2015
本文考虑众包任务分配中的可靠性问题,提出了一种基于置信传播和低秩矩阵逼近的算法来决定如何分配任务,并从工人的答案中推断出正确答案。比较了不同算法的表现,发现基于者非自适应的算法是最优的。此外,还强调了建立可靠的工人信誉系统对于完全运用自适应设计的潜力至关重要。
Oct, 2011
本文提供了一种用于团队组建、外包和招聘的算法,以实现成本最小化,并在基于实际任务需求和工人技能的半合成数据集上进行了实验。
Feb, 2020
本文研究了众包系统的性能极限,并提出了有效的分配方案来满足附加要求,包括专业化工作、效率、任务分配和性能限制。在一个由非营利公司运行的众包平台的数据上进行了算法演示,并展示了与当前实践相比的显著改进。
Jan, 2016
本文从数据、模型、学习三个维度,全面回顾了 13 年来 AI 社区在众包学习领域的进展,着重提出了每个维度的一些有前途的蓝图,并探讨了过去研究的经验教训,旨在为新研究者提供指引,鼓励他们做出新的贡献。
Jun, 2022
本文研究如何在预算限制下,选择优质工人子集以达到最大准确性,并通过组合优化算法解决此问题,证明该算法能够有效地选择少数高质量工人,并在模拟和实际数据集上表现良好。
Feb, 2015
本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务,探讨了聚合评估者选择的策略,展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效,并设计了一种机器学习算法来执行相同的任务。有趣的是,我们观察到了一个没有明确建模评估者主观性的机器学习算法,在评估最主要的情绪时与人类评估一样可靠。
Jun, 2019
本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法,并通过理论与实证的研究验证了该方法的优越性。
该研究探讨了如何在固定预算下最大化标注数据的精确度,比较自适应任务分配与非自适应任务分配之间的优劣,并使用概率模型来解决这个问题。
Feb, 2016
本文提出了两个贡献:通过预训练神经网络和构建 “认知模型先验” 以捕捉人类行为的归纳偏见,使得机器学习方法在小样本数据集上能够显著提高预测准确率;基于超过 240,000 项人类决策的大规模数据集,揭示出认知模型先验适用的情况,并为人类决策预测建立了新的基准。
May, 2019