Aug, 2023

无监督观点聚合 —— 统计角度

PDF
TL;DR本论文探讨了一种统计方法，利用专家的意见而无需真实的事实来推断每位专家的能力，并利用众人之智的原理测量每位专家的能力，进而提出一种完全无监督的朴素贝叶斯分类器的技术，并证明该技术在大类问题中是渐进最优的。同时，将该方法应用于大规模意见聚合、基于有限意见的决策制定。
complex decision-making systemsopinionscompetence of expertswisdom of crowdsnaive bayes classifier
发现论文，激发创造
  • 使用不准确的评委对专家进行加权

    研究通过设计具有不同能力的裁判来加权专家，以改善二进制投票问题中的正确率，最终展示在从共同分布中 i.i.d. 抽取的已知能力不确定的一组代理的优化划分，可以更好地解决问题。

    Nov, 2022

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023

  • 走向群体学习：专家的分布式加权

    研究了多个质量不同的信号来源的信号聚合问题，旨在通过不同质量来源的离散报告，构建一个公正权重的最优聚合模型。

    Jun, 2022

  • 贝叶斯在线学习用于共识预测

    通过在线分类中充分利用现有的分类器和人类专家，研究了模型预测方面不收费，但询问人类专家会产生一定成本的任务。鉴于无法获得准确的真实标签，我们将预测目标定义为所有专家共识投票。鉴于获得完整共识可能成本高，我们提出了一般的在线贝叶斯共识估计框架，利用多元超几何分布的特性。基于此框架，我们提出了一系列方法，通过生成专家和模型信念的后验分布来动态估计专家共识。通过分析该后验分布，可以在询问成本和分类性能之间进行可解释的权衡。我们在两个大规模众包数据集 CIFAR-10H 和 ImageNet-16H 上，对我们的框架与多个基准模型进行了验证，证明了其有效性。

    Dec, 2023

  • 无需几乎没有训练的聚合相关估计

    通过考虑相关性，本文提出了不同的聚合规则，并将它们与朴素规则进行了比较。通过基于合成数据的各种实验证明，当关于误差之间的相关性已知足够信息时，最大似然聚合应该优先考虑。否则，通常情况下，建议使用一种称为嵌入式投票（EV）的方法。

    Sep, 2023

  • 无标准数据情况下的众包研究 -- 案例分析

    本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

    Jun, 2019

  • 惊人的普及投票恢复排名，惊人！

    使用实用技巧将其扩展到被排名的选票，设计强大的聚合规则，证明了即使少量预测信息也有助于让惊人受欢迎的投票方法胜过传统方法。

    May, 2021

  • 自适应众包通过自监督学习

    利用自监督学习和新颖的聚合机制，just-predict-others 方法在面对具有不同技能水平和相关估计的众包工作者时，比传统的众包系统更能提供准确的群体估计；并通过理论和计算研究验证 just-predict-others 的效力，证明随着每个众包工作者参与次数的增加，该方法在渐近优化方面表现优秀。

    Jan, 2024

  • 通过选择有信息量的评论学习观点摘要器

    本文研究了如何在大数据集上进行意见总结，并通过选择有信息量的评论子集并联合学习摘要生成器来解决这个问题。

    Sep, 2021

  • 用对抗专家实现稳健的决策聚合

    我们研究了一个关于二元决策聚合问题，其中既有真实可信的专家，又有对抗性的专家；我们的目标是设计一个稳健的聚合器来预测真实世界的状态，同时最小化与基准决策之间的预期损失差距。我们证明了在一些条件下，截断均值是最优的聚合器选择，并且很多情况下最优聚合器属于分段线性函数类；我们的结果表明，遗憾值与专家总数无关，只取决于对抗性专家的比例。

    Mar, 2024