annotation tasks | BriefGPT

关键词annotation tasks

搜索结果 - 10

计算社会科学任务中的提示设计对结果具有重要影响，但其方式难以预测
手动注释计算社会科学任务的数据成本高昂、耗时且情感压力大。最近的研究表明，零 - shot 设置下，语言模型可以执行此类注释任务，但我们对于提示设计如何影响语言模型的遵从和准确性了解甚少。我们进行了大规模的多提示实验，以测试模型选择（Cha
PDF17 days ago
MM利用翻译和主题嵌入在推文中进行注释检测的 BrainStorm @ iREL 在 SMM4H 2024
在这项共享任务中，我们提出了一种新颖的方法来识别和分类 LLMs 和人类领域专家在 COVID-19 症状检测方面从拉丁美洲西班牙语推文中进行的注释，旨在提高注释数据的可靠性。
PDF2 months ago
ACL语料库考虑注释模型的建立与扩展
旨在全面涵盖多样性的标注任务中，仅依赖于大多数类别标签的模型可能会无意中忽视宝贵的少数派观点，因此需要探索各种标注者建模技术的有效性，并比较它们在七个语料库中的性能。通过研究发现，常用的用户标记模型始终胜过更复杂的模型，并引入了一种复合嵌入
PDF3 months ago
评估即所需：使用开放模型在社会科学的注释任务中引导生成式大型语言模型的纲要
本研究探讨了在社会科学中使用开放生成的大型语言模型（LLMs）进行注释任务的用途。研究强调了专有模型所面临的限制再现性和隐私问题，并主张采用可在独立设备上运行的开放（源）模型。提供了推文情感分析和童年志向性散文中休闲活动的识别两个注释任务的
PDF6 months ago
评估 VLMs 用于基于分数的、多探针注释三维物体
我们提出了一种方法来边际化通过 VLM 查询变化的任何因素，利用采样响应的 VLM 分数。我们展示了这种概率整合可以在摘要中胜过语言模型（如 GPT4），避免了在响应之间存在对比细节时的幻觉。此外，我们展示了聚合注释对于 Prompt-Ch
PDF7 months ago
EMNLP建模人类标签变异的建筑甜点：以论证质量为例，最好相关视角！
通过对两个论证质量分类任务（论证具体性和结论的有效性 / 新颖性）的研究，我们发现推荐系统架构相对于多数标签模型能使得个体标注者的 F1 得分提高高达 43％，这表明在处理主观性时，与个体观点相关的方法是可行的。
PDF8 months ago
ChatGPT 优于人工工人在文本注释任务中的表现
本研究使用 2382 个推文的样本表明，ChatGPT 在多个数据标注任务方面表现优于众包工人，特别是零 - shot 准确率，且其内部编码者间一致性超过了众包工人和训练有素的注释员，而其标注成本比 MTurk 便宜二十倍左右，这些结果表明
PDFa year ago
EMNLPPOTATO：便携式文本注释工具
POTATO 是一个免费的，完全开源的文本注释工具，支持标记多种类型文本和多模态数据，旨在提高标注速度，提供方便的模板和自定义的特性。
PDF2 years ago
稀疏概率一致性
本文提出 Sparse Probability of Agreement（SPA）的概念，以估计当没有所有标注 - 项目对可用时的协议概率，并提供多种加权方案处理不同程度标注的数据，其可成为无偏估计器。
PDF2 years ago
语义注释的图查询
本文介绍了在线工具 GREW-MATCH 如何用于查询和可视化现有的语义注释语料库中的数据。它提供了专用语法来构建简单或复杂的查询并执行它们，从而通过查询结果来检查一个或多个语料库中注释的一致性，并且作为一个错误挖掘工具，GREW-MATC
PDF2 years ago