crowdworkers | BriefGPT - AI 论文速递

关键词crowdworkers

搜索结果 - 8

利用人类反馈扩大教育数据集规模：结合众包工人和比较判断
利用非专业众包工作者进行复杂的学生数据评估的实验表明，使用比较判断可显着提高两项任务的评定间判定一致性。这一结果符合教育评价领域的比较判断优势的已有文献，也符合人工智能研究中的趋势，即在处理非专业众包工作者的模型输出时，比较判断成为提供人类
PDFa year ago
ACL实时视觉反馈用于引导基准创建：人 - 指标协同的工作流程
该篇论文提出了一种基于引导群众工作者的新型自然语言处理（NLP）基准创建范例 VAIDA，以减少创建样本中的人为偏差，并通过 NASA TLX 用户研究及专业评估证实，减少了创建样本的人力、时间投入的同时，增加了样本的整体性与质量，并降低了
PDFa year ago
EMNLP利用众包工作者进行机器翻译的域适应
提出了一种利用众包工作者从网络中有效地收集一个目标领域平行句子的框架，从而快速地将机器翻译模型适应于目标领域，实验证明这种方法可以在几天内以合理的成本收集到目标领域平行数据，并且与通用翻译模型相比，域适应模型的 BLEU 评分平均提高了 7
PDF2 years ago
ACLNLP 众包的伦理学意义超越公平薪酬
该论文讨论了众包工人在 NLP 研究中的伦理问题，提出了应考虑 Belmont 报告中的三个伦理原则评估这些风险，并澄清了有关 Institutional Review Board（IRB）申请的一些常见误解。
PDF3 years ago
ACL用于多模态正则表达式综合的复杂结构基准测试
使用概率语法生成多模态细节复杂的正则表达式，并利用众包工人提供语言多样性的描述。通过定性和定量分析，论文证明了 StructuredRegex 数据集相对于现有数据集的优势和挑战。
PDF4 years ago
ACL众包工作者与自然语言处理工具在政治推文的命名实体识别和情感分析方面的性能比较
比较了众包工作者和七个自然语言处理工具在命名实体识别和实体级情感分析两个重要 NLP 任务中的准确性，并测试了几个商业和开源工具，实验结果表明，在我们的政治推文数据集中，最准确的 NER 系统谷歌云 NL 表现几乎与众包工作者一样，但最准确
PDF4 years ago
EMNLPFewRel: 大规模监督少样本关系分类数据集及最先进评估
我们提出了 FewRel 数据集，其中包含来自维基百科的 100 种关系中的 70,000 个句子，这些句子由群众工作者进行注释。我们针对关系分类采用了最新的 Few-Shot Learning 方法，并对这些方法进行了全面的评估。实证结果
PDF6 years ago
深度贝叶斯信任：众包中的主导公平激励机制
提出了一种新颖的机制来激励人群工作，仅给少数人分配黄金任务并利用传递性从他们的同伴准确性中推导其他人的准确性，从而确保博弈论激励兼容性和公平性。
PDF6 years ago