amazon mechanical turk | BriefGPT

关键词amazon mechanical turk

搜索结果 - 13

在众包数据注释流水线中使用 GPT-4
对 GPT-4 和 MTurk 管道进行了比较，结果显示，尽管在最佳实践的情况下，MTurk 管道的最高准确率为 81.5％，而 GPT-4 达到了 83.6％。有趣的是，当结合 GPT-4 的标签与通过高级工人界面收集的众包标签进行聚合时
PDF4 months ago
将工人视角融入 MTurk NLP 标注实践
通过批判性文献综述和 MTurk 工作者的调查，我们发现当前在亚马逊众包平台中进行自然语言处理数据收集的方法在考虑工作者的角度上存在问题，因此我们提出了关于公平支付、工作者隐私、数据质量和工作者激励等方面的最佳实践，以更好地尊重工作者权益并
PDF8 months ago
大型语言模型作为副主厨：使用 GPT-3 修改食谱
我们的研究利用大语言模型将菜谱文本转化为易于理解的形式，通过改进菜谱的步骤和指令并使用 Amazon Mechanical Turk 任务收集人类意见，证明了大语言模型作为数字厨师的潜在应用。
PDFa year ago
划分越少越好：解构句子划分中的可读性
这篇论文主要研究句子拆分在文本简化中的应用，通过引入贝叶斯模型框架和 Amazon Mechanical Turk 的实验数据得出，将一句复杂的长句拆成两句可以更好地提高阅读可读性。
PDFa year ago
MTurk 上寻找资格合适的工作者进行摘要分析
通过一个由三个步骤组成的资格认证系统，成功筛选优质的 MTurk 工作者来改善众包平台获取高质量人类标注的困难性，并优化人力资源的使用，本文探讨了此方法的有效性，可作为处理其他繁琐的标注任务的基础。
PDF2 years ago
EMNLPDENS：用于多类情感分析的数据集
介绍了一份英语长篇叙述的多类情感分析新数据集 (DENS)，是由 Project Gutenberg 和 Wattpad 上的现代在线叙述组成，使用 Amazon Mechanical Turk 进行注释，其中，预训练的 BERT 模型微调
PDF5 years ago
基于数据的亚马逊机械土耳其雇员收入分析
对 Amazon Mechanical Turk 进行的 2,676 个工人 3.8 百万个任务的研究表明，线上众包工作的收入极低，其中只有 4％的工人的平均每小时工资超过 7.25 美元，虽然平均请求者支付超过 11 美元 /h。同时，研
PDF7 years ago
哥伦比亚 MVSO 图像情感数据集
本文介绍了基于 Amazon Mechanical Turk 作为众包平台，以英文 ANP 为例从 Multilingual Visual Sentiment Ontology 中获取图像情感数据集，目的是用于评估自动预测图像或 ANP 情
PDF8 years ago
文学作品中角色关系的注释
通过 Amazon Mechanical Turk，我们提供了一个手动注释的关系数据集，用于支持文学作品中关系类型预测的自动方法的训练和评估，以及更广泛的文学角色计算分析。我们在 109 个文本上征求来自工人的注释，涵盖从荷马的《伊利亚特》
PDF9 years ago
众包中的批准投票和激励
本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。
PDF9 years ago
违反潮流：大规模成本关注活跃学习用于统计机器翻译
本文提出一种类似主动学习的数据获取算法，通过使用 Amazon Mechanical Turk 平台获取数据，极大地提高机器翻译性能。
PDF10 years ago
ACL使用机械土耳其工人构建机器翻译评估数据集
本文研究了使用 Amazon Mechanical Turk 来廉价的生产机器翻译测试集，实验表明，该方法产生的测试集与专业生产的测试集对于系统性能的结论基本一致。
PDF10 years ago
COLING新闻文章中的命名事件段落识别
本文将命名实体概念扩展至命名事件，提出了一种在新闻文章中发现包含该类事件信息的特定段落的方法并报告初步评估结果。使用 Amazon Mechanical Turk 服务获取 Gold Standard 数据的方法也被介绍。
PDF11 years ago