Oct, 2023

CoAnnotating: 基于不确定性指导的工作分配方法 —— 人员与大型语言模型协同数据标注

PDF
TL;DR使用大规模语言模型和人工标注相结合的新范式 CoAnnotating，在未标注的文本上进行人工标注和语言模型标注，以达到更好的质量和成本效益。
发现论文，激发创造
  • AnnoLLM: 使大型语言模型成为更好的众包注释工具

    本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

    Mar, 2023

  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • 利用大型语言模型（LLMs）支持人工智能在线风险数据协作注释

    利用 LLMs 作为交互式研究工具，促进人类编码员与人工智能之间的合作，有效地标记大规模在线风险数据。

    Apr, 2024

  • 基于生成式人工智能的自动标注需要验证

    通过验证人类生成的标签，我们提出了一种工作流程，以有效利用 LLM 的注释潜力，然后使用 GPT-4 复制 27 个注释任务，发现文本注释的 LLM 性能很有前途，但高度依赖数据集和注释任务类型，从而强调了必须逐任务验证的必要性。我们提供易于使用的软件，用于实现我们的工作流程，以便自动化注释的 LLM 部署。

    May, 2023

  • 大型语言模型中利用标签变异进行零样本文本分类

    使用 5 种最先进的大型语言模型（LLMs）作为 “标注者” 在多个任务上进行评估，并比较其与人类标注的优缺点。总体而言，尽管 LLMs 在某些任务上表现出色，但它们无法替代人类标注的需求。

    Jul, 2023

  • 大型语言模型作为注释器：在最小成本下增强 NLP 模型的泛化能力

    研究使用大型语言模型对输入进行注释以提高自然语言处理模型的泛化性，并提出一种基于模型预测得分差异的采样策略来重新训练模型，证明在分类和排名任务中取得了显著的精度提高。

    Jun, 2023

  • LLMs 加速医疗信息提取的注释

    使用大型语言模型（LLMs）结合人类专家的方法，快速生成医疗文本注释的地面真实标签，从而减少人工注释负担并保持高准确性，为医疗健康领域的定制自然语言处理（NLP）解决方案提供了潜力。

    Dec, 2023

  • 多新闻 +: 基于 LLM 的数据注释的成本效益的数据清洗

    利用大型语言模型的数据清洗策略，通过模拟人工注释和分类不相关文档，我们改进了 Multi-News 数据集，提高了数据集质量，而无需依赖昂贵的人工注释工作。

    Apr, 2024

  • 数据标注的大型语言模型调查

    数据标注是提高机器学习模型效果的标记或标签化原始数据的过程，使用大型语言模型（LLMs）可以革新和自动化数据标注过程。本研究着重于 LLM 在数据标注中的特定用途，探讨了 LLM 基于数据标注、评估 LLM 生成的标注以及使用 LLM 生成的标注进行学习的方法。此外，还提供了 LLM 在数据标注中的方法学分类、包含 LLM 生成标注的模型的学习策略综述，并详细讨论了使用 LLM 进行数据标注所面临的主要挑战和限制。本文旨在为研究人员和从业者指导利用最新的 LLMs 进行数据标注，推动该关键领域的未来发展。

    Feb, 2024

  • 人工人工人工智能：众包工作者广泛使用大型语言模型进行文本生成任务

    本文研究 LLMs 对众包工人的影响，通过对在 Amazon Mechanical Turk 上运行的一个摘要任务，发现 33-46% 的众包工人使用了 LLMs，因此需要找到新的方法确保数据来源于人类本身。

    Jun, 2023