expert annotations | BriefGPT

关键词expert annotations

搜索结果 - 6

人类仍胜过 LLM：一个关于特定领域注释任务的主动学习的实证研究
基于四个不同领域的实验结果，本研究发现，小模型在专家注释的情况下能够以较少标注数据的情况下胜过 GPT-3.5，并且与 GPT-4 在性能上达到或超过其，尽管小模型的规模只有后者的百分之一。因此，我们认为在真实世界的应用中，大型语言模型的预
PDF8 months ago
基础方舟：积累和复用知识以获得卓越和稳健的性能
通过聚合多个公共数据集并从专家注释中积累知识，我们开发了 Ark 框架，在医学成像领域实现了优越且稳健的性能以及超越专有模型的表现，这拥有重要影响力，以促进开放科学并推动深度学习民主化。
PDF9 months ago
CKBP v2: 通识知识库填充的专家注释评估集
本文介绍了 CKBP v2，这是一个新的高质量的常识知识库（CSKB）人口基准，使用专家注释代替众包注释，并添加多样化的对抗样本以使评估集更具代表性，通过与最先进的方法进行比较，本文表示人口普查任务仍然具有挑战性。
PDFa year ago
ACLTwitter 上立场检测的大规模数据集：会不会发生他们之间的事
本文介绍了一个名为 Will-They-Won't-They (WT-WT) 的新的具有挑战性的立场检测数据集，其中包含 51,284 条英文推特，是目前可用的同类数据集中最大的。所有注释都是由专家进行的，因此该数据集构成了未来立场检测研究
PDF4 years ago
ACL预测注释难度，提高生物医学信息提取任务路由和模型性能
本文研究如何通过模拟实例难度来提高专业领域 NLP 系统的表现，包括使用 crowdsourcing 降低成本，同时为优化任务路由分配特定领域的专家。试验结果显示，通过难度预测，可以在既有少量专家数据的基础上进一步优化模型性能。
PDF5 years ago
EMNLPemrQA：基于电子病历的问题回答的大型语料库
通过重新利用其他 NLP 任务的现有注释，我们提出了一种新的方法来生成特定领域的大规模问答（QA）数据集。我们利用社区共享的 i2b2 数据集中临床笔记的现有专家注释，生成了大规模的电子医疗记录 QA 数据集 emrQA，其中包含 100
PDF6 years ago