May, 2023

利用人类反馈扩大教育数据集规模：结合众包工人和比较判断

PDF
TL;DR利用非专业众包工作者进行复杂的学生数据评估的实验表明，使用比较判断可显着提高两项任务的评定间判定一致性。这一结果符合教育评价领域的比较判断优势的已有文献，也符合人工智能研究中的趋势，即在处理非专业众包工作者的模型输出时，比较判断成为提供人类反馈的首选方法。然而，据我们所知，这些结果是在证明使用比较判断和众包工作者评估教育数据的组合效果方面的新颖且重要的成果。
machine learningeducationcrowdworkerscomparative judgementinter-rater reliability
发现论文，激发创造
  • 无标准数据情况下的众包研究 -- 案例分析

    本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主观性的机器学习算法，在评估最主要的情绪时与人类评估一样可靠。

    Jun, 2019

  • 内生能力的众包判断引诱

    本研究提出一种新的信息引出机制，可用于多任务时具有内生能力的代理人的二进制信息引出，其奖励代理人同意 “参考” 评估者的任务，但惩罚盲目同意，以鼓励代理人付出更多的努力，以便获取奖励。

    Mar, 2013

  • 众包和 LLM 的注释质量比较研究

    通过对现有众包数据集进行评估，从不同的角度研究了个体众包标签和大语言模型标签的质量，提出了一种众包 - 大语言模型混合标签聚合方法并验证了其性能，发现将优质大语言模型的标签与现有众包数据集相结合能提高数据集的聚合标签质量，且高于大语言模型标签自身的质量。

    Jan, 2024

  • 众包数据库的主动学习

    本研究提出一种将机器学习与众包数据库结合的主动学习算法，以实现众包应用程序的可扩展性，并通过实验证明：相比于以往的主动学习方案，我们的方法平均只需要人类标记 1-2 个数量级的数据集就能实现与随机采样相同的精度。

    Sep, 2012

  • 一种贝叶斯主动学习方法的比较判断

    我们提出了一种基于贝叶斯方法的比较判断（BCJ），用于确定评比项的排名，并提出了一种使用主动学习来选择要展示给评分者的比较对的新方法，解决了传统比较判断的关键缺陷。我们的实验证实，BCJ 结合基于熵的主动学习选择方法优于其他替代方案，而且发现通过进行更多的比较，BCJ 变得更准确，解决了当前方法在进行过多比较时模型退化的问题。由于我们的方法可以生成项的完整预测排名分布，我们还展示了如何利用这一方法来制定一个由评分者指导的预测等级。

    Aug, 2023

  • 将主观众评估作为改进自然语言生成的附加客观标准的估计

    本文探讨在多任务学习设置中，使用主观评估作为语言生成模型训练的一部分，并使用群众创作对话语料库对六种不同的语言生成模型进行微调。评估显示，多任务学习的模型生成的话语在主观上评分最高，且在推动对话发展、无冒犯性等方面得分最高。因此，将来可以研究将主观人类评估纳入语言生成模型训练中，从而在开发过程中更好地与人类用户进行交互。

    Apr, 2021

  • 多样化集成：众包机器学习实验

    通过竞赛平台的众包机器学习是一种流行且常见的方法，这篇论文开发了一种另类的众包框架来整合社区反馈，以解决群体不公平问题，并提供了关于部署这种框架的具体指导。

    Feb, 2024

  • 拥抱错误以实现快速众包

    本文提出了一种快速评判用于二元和分类标签的技术，避免所有错误，快速评判的同时通过随机任务顺序和建模响应延迟来纠正错误，通过广泛的标记任务验证，相较于之前工作实现的 0.25x 到 1x 的加速，我们的方法通常实现 10 倍的加速效果。

    Feb, 2016

  • 利用大型语言模型预测人类相似性评价

    利用语言模型和在线招募，提出了一种基于文本描述的高效通用程序，以预测相似度判断，其数量只随刺激物数量线性增长，可极大减少数据需求，且在六个自然图像数据集上的结果优于基于视觉信息的先前方法。

    Feb, 2022

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023