Dec, 2023

贝叶斯在线学习用于共识预测

PDF
TL;DR通过在线分类中充分利用现有的分类器和人类专家，研究了模型预测方面不收费，但询问人类专家会产生一定成本的任务。鉴于无法获得准确的真实标签，我们将预测目标定义为所有专家共识投票。鉴于获得完整共识可能成本高，我们提出了一般的在线贝叶斯共识估计框架，利用多元超几何分布的特性。基于此框架，我们提出了一系列方法，通过生成专家和模型信念的后验分布来动态估计专家共识。通过分析该后验分布，可以在询问成本和分类性能之间进行可解释的权衡。我们在两个大规模众包数据集 CIFAR-10H 和 ImageNet-16H 上，对我们的框架与多个基准模型进行了验证，证明了其有效性。
online classificationconsensus votebayesian consensus estimationpartial feedbacktrade-off
发现论文，激发创造
  • 基于贝叶斯决策理论的在职学习

    采用动态众包解决模型不确定性，基于贝叶斯决策理论构建随机博弈模型，使用 Monte Carlo Tree Search 进行近似计算，在命名实体识别任务中比全人工标注节省 an order of magnitude 成本，同时提高了模型的性能。

    Jun, 2015

  • 基于预测共识的协作学习

    本文提出了基于蒸馏的方法，并采用信任加权方案，使用伪标签的无标签辅助数据促进合作学习，以达成对辅助数据的标签共识。我们证明了该方案相对于本地训练能显著提高模型性能，同时也可以识别和缓解对于众多模型的负面影响。在个体数据训练以及模型架构存在异质性的情况下，该方法表现得尤为有效。

    May, 2023

  • 大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

    本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

    Feb, 2019

  • 无监督观点聚合 —— 统计角度

    本论文探讨了一种统计方法，利用专家的意见而无需真实的事实来推断每位专家的能力，并利用众人之智的原理测量每位专家的能力，进而提出一种完全无监督的朴素贝叶斯分类器的技术，并证明该技术在大类问题中是渐进最优的。同时，将该方法应用于大规模意见聚合、基于有限意见的决策制定。

    Aug, 2023

  • 多专家在线覆盖

    设计在线算法，利用机器学习预测，以超越最坏情况范例，解决各种实际相关在线问题（如调度、缓存、聚类、滑雪租赁等）。通过研究设计具备多个专家的在线算法，以超越静态最佳专家的贪心基准。在新的动态基准中提出了具有 O（log K）性能保证的竞争算法，其中 K 是专家数量，适用于 0-1 在线优化问题。此外，我们的多专家方法提供了一种在线组合多个在线算法的新视角，这是在线算法研究社区长期的核心主题。

    Dec, 2023

  • 贝叶斯表示学习与 Oracle 约束

    提出一种将生成式无监督特征学习与概率上的三元组信息处理相结合的方法，将隐式的 oracle 知识转移为显式的非线性贝叶斯潜在因子模型，并证明该方法在学习表示方面优于以前的度量学习方法和没有此类副信息的生成模型。

    Jun, 2015

  • 带有约束条件的贝叶斯众包

    本文探讨半监督众包分类在标签约束和实例约束两种情况下的贝叶斯算法，该算法基于变分推断，可以比无监督众包分类更有效地对人工注释信息进行聚合，该算法在多个众包数据集上的分析和实证验证了其表现的可量化提升。

    Dec, 2020

  • 用于训练多样深度集成的随机多选学习

    该论文提出一种基于深度网络集成模型的新型随机梯度下降方法，通过使用多种高可能性的假设，实现产生多个预测结果的任务，其能够显著增强预测能力和降低错误率，并产生可解释的任务模糊度表示。

    Jun, 2016

  • 使用付费随机专家在在线分类中平衡支付和准确性

    本研究介绍了一种基于 Lipschitz bandit 和代理损失的在线学习算法，使用有偿随机专家进行在线分类决策，并与标准 Lipschitz bandit 设置相比，总成本在 T 轮后不超过预测器的成本上限。

    Jul, 2023

  • 面向通用、可扩展的贝叶斯教学框架及其在主题模型中的应用

    通过基于人类教学的伪边际抽样实现机器学习的普适性教学方法，成功地在主题模型上进行训练，并在电影简介数据中验证了该方法的优势。

    May, 2016