基于贝叶斯决策理论的在职学习

NIPSJun, 2015

On-the-Job Learning with Bayesian Decision Theory

Keenon Werling, Arun Chaganty, Percy Liang, Chris Manning

TL;DR采用动态众包解决模型不确定性，基于贝叶斯决策理论构建随机博弈模型，使用 Monte Carlo Tree Search 进行近似计算，在命名实体识别任务中比全人工标注节省 an order of magnitude 成本，同时提高了模型的性能。

Abstract

Our goal is to deploy a high-accuracy system starting with zero training examples. We consider an "on-the-job" setting, where as inputs arrive, we use real-time crowdsourcing to resolve uncertainty where needed and output our prediction when confident. As the model improves over time,

crowdsourcing stochastic game bayesian decision theory monte carlo tree search named-entity recognition

发现论文，激发创造

大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

Feb, 2019

贝叶斯在线学习用于共识预测

通过在线分类中充分利用现有的分类器和人类专家，研究了模型预测方面不收费，但询问人类专家会产生一定成本的任务。鉴于无法获得准确的真实标签，我们将预测目标定义为所有专家共识投票。鉴于获得完整共识可能成本高，我们提出了一般的在线贝叶斯共识估计框架，利用多元超几何分布的特性。基于此框架，我们提出了一系列方法，通过生成专家和模型信念的后验分布来动态估计专家共识。通过分析该后验分布，可以在询问成本和分类性能之间进行可解释的权衡。我们在两个大规模众包数据集 CIFAR-10H 和 ImageNet-16H 上，对我们的框架与多个基准模型进行了验证，证明了其有效性。

Dec, 2023

面向通用、可扩展的贝叶斯教学框架及其在主题模型中的应用

通过基于人类教学的伪边际抽样实现机器学习的普适性教学方法，成功地在主题模型上进行训练，并在电影简介数据中验证了该方法的优势。

May, 2016

带有约束条件的贝叶斯众包

本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

Dec, 2020

一种基于贝叶斯方法的众包序列标注技术

本研究提出了一种用于聚合序列标记的贝叶斯方法，该方法通过对注释者的误差和模拟注释的困难度进行建模，有效地减少了常见的跨度注释错误。通过在命名实体识别，信息抽取和论证挖掘方面进行 crowdsourced 数据的评估，表明我们的序列模型优于以前的现有技术，并且可以通过更有效的主动学习来降低众包成本。

Nov, 2018

近似最优的众包分类教学

研究如何通过随机模型和基于子模块的贪婪算法来选择训练示例以教导学习者分类规则，并证明该策略具有较高的实用性和有效性。

Feb, 2014

面向众包系统的时序贝叶斯信息聚合

本文介绍了一种新的时间敏感的贝叶斯聚合方法，称为 BCCTime，该方法同时估计任务的持续时间并获得可靠的聚合众包判断，该方法使用潜在变量表示关于工人完成时间、任务持续时间和工人准确性的不确定性，通过高效的信息传递贝叶斯推理来学习关于每个工人和任务的后验概率，并与现有方法相比产生更准确的分类以及更多的任务持续时间估计。

Oct, 2015

通过贝叶斯数据选择实现模型训练加速

使用轻量级贝叶斯处理和基于大规模预训练模型的即用型零样本预测器，解决了现实场景中标记错误、重复或有偏差的数据在训练中的问题，提高了模型的训练效率。

Aug, 2023

从含有噪声的带有单标签数据中学习

提出一种新的算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。

Dec, 2017

委派分类

提出了一种激励感知的机器学习任务委托理论框架来防止利益冲突及影响预测性能的问题，并通过学习曲线和标度律构建小规模数据所需的预算最优合约以实现性能和经济成果的综合评估。

Jun, 2023