ACLFeb, 2024

MEGAnno+: 一个人类 - LLM 协作的标注系统

PDF
TL;DR大型语言模型（LLMs）可比人类更快速和廉价地对各种 NLP 任务进行数据标注。然而，LLMs 在理解复杂的社会文化或领域特定的上下文方面可能存在问题，导致错误的标注。因此，我们主张人类和 LLMs 合作的方法，以产生可靠和高质量的标签。我们介绍了 MEGAnno+，这是一个人 - LLM 协作标注系统，提供了有效的 LLM 代理和标注管理、便捷和稳健的 LLM 标注，以及人类对 LLM 标签的探索性验证。
large language modelscollaborative approachannotation systemnlp tasksllm agent
发现论文，激发创造
  • 利用大型语言模型（LLMs）支持人工智能在线风险数据协作注释

    利用 LLMs 作为交互式研究工具，促进人类编码员与人工智能之间的合作，有效地标记大规模在线风险数据。

    Apr, 2024

  • LLMs 加速医疗信息提取的注释

    使用大型语言模型（LLMs）结合人类专家的方法，快速生成医疗文本注释的地面真实标签，从而减少人工注释负担并保持高准确性，为医疗健康领域的定制自然语言处理（NLP）解决方案提供了潜力。

    Dec, 2023

  • 基于生成式人工智能的自动标注需要验证

    通过验证人类生成的标签，我们提出了一种工作流程，以有效利用 LLM 的注释潜力，然后使用 GPT-4 复制 27 个注释任务，发现文本注释的 LLM 性能很有前途，但高度依赖数据集和注释任务类型，从而强调了必须逐任务验证的必要性。我们提供易于使用的软件，用于实现我们的工作流程，以便自动化注释的 LLM 部署。

    May, 2023

  • 计算笔记本中 NLP 的探索性标注

    MEGAnno 是为 NLP 研究人员和从业者设计的新型探索性注释框架，它不仅仅支持数据标注，还支持数据探索和模型开发，并通过高级搜索和自动建议功能以及在同一笔记本中交互式排序、过滤和分配标签的小部件，实现了灵活、高效、无缝的标注体验。

    Jan, 2023

  • CoAnnotating: 基于不确定性指导的工作分配方法 —— 人员与大型语言模型协同数据标注

    使用大规模语言模型和人工标注相结合的新范式 CoAnnotating，在未标注的文本上进行人工标注和语言模型标注，以达到更好的质量和成本效益。

    Oct, 2023

  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • AnnoLLM: 使大型语言模型成为更好的众包注释工具

    本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

    Mar, 2023

  • 利用大型语言模型为主题元数据添加注释：澳大利亚国家研究数据目录的案例研究

    本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

    Oct, 2023

  • 人工人工人工智能：众包工作者广泛使用大型语言模型进行文本生成任务

    本文研究 LLMs 对众包工人的影响，通过对在 Amazon Mechanical Turk 上运行的一个摘要任务，发现 33-46% 的众包工人使用了 LLMs，因此需要找到新的方法确保数据来源于人类本身。

    Jun, 2023

  • 多智能体协作：发挥智能 LLM 代理的力量

    本文提出了一种通过多智能体系统来增强大型语言模型（LLMs）能力的新框架，并通过人工智能领域的案例研究展示了这一框架的实用性和多样性。

    Jun, 2023