Apr, 2024

多新闻 +: 基于 LLM 的数据注释的成本效益的数据清洗

PDF
TL;DR利用大型语言模型的数据清洗策略，通过模拟人工注释和分类不相关文档，我们改进了 Multi-News 数据集，提高了数据集质量，而无需依赖昂贵的人工注释工作。
dataset qualitydata annotationlarge language modelscleansing strategymulti-news dataset
发现论文，激发创造
  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • 利用 LLM 增加 NER 数据集：走向自动化和精确注释

    在自然语言处理（NLP）领域，命名实体识别（NER）被认为是一项关键技术，广泛应用于各种应用。本研究引入了一种新颖的混合标注方法，将人力与大型语言模型（LLMs）的能力相结合，旨在提高 NER 模型的性能，并以经济的方式解决传统标注方法存在的噪音和类别不平衡问题。通过多个数据集的分析，该方法在受限预算条件下始终显示出比传统标注方法更优越的性能，揭示了利用 LLMs 提高数据集质量的潜力，引入了一种减轻类别不平衡问题的新技术，并证明了以经济方式实现高性能 NER 的可行性。

    Mar, 2024

  • CoAnnotating: 基于不确定性指导的工作分配方法 —— 人员与大型语言模型协同数据标注

    使用大规模语言模型和人工标注相结合的新范式 CoAnnotating，在未标注的文本上进行人工标注和语言模型标注，以达到更好的质量和成本效益。

    Oct, 2023

  • 大型语言模型中利用标签变异进行零样本文本分类

    使用 5 种最先进的大型语言模型（LLMs）作为 “标注者” 在多个任务上进行评估，并比较其与人类标注的优缺点。总体而言，尽管 LLMs 在某些任务上表现出色，但它们无法替代人类标注的需求。

    Jul, 2023

  • LLMs 加速医疗信息提取的注释

    使用大型语言模型（LLMs）结合人类专家的方法，快速生成医疗文本注释的地面真实标签，从而减少人工注释负担并保持高准确性，为医疗健康领域的定制自然语言处理（NLP）解决方案提供了潜力。

    Dec, 2023

  • 利用大型语言模型为主题元数据添加注释：澳大利亚国家研究数据目录的案例研究

    本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

    Oct, 2023

  • 大型语言模型作为注释器：在最小成本下增强 NLP 模型的泛化能力

    研究使用大型语言模型对输入进行注释以提高自然语言处理模型的泛化性，并提出一种基于模型预测得分差异的采样策略来重新训练模型，证明在分类和排名任务中取得了显著的精度提高。

    Jun, 2023

  • AnnoLLM: 使大型语言模型成为更好的众包注释工具

    本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

    Mar, 2023

  • 数据标注的大型语言模型调查

    数据标注是提高机器学习模型效果的标记或标签化原始数据的过程，使用大型语言模型（LLMs）可以革新和自动化数据标注过程。本研究着重于 LLM 在数据标注中的特定用途，探讨了 LLM 基于数据标注、评估 LLM 生成的标注以及使用 LLM 生成的标注进行学习的方法。此外，还提供了 LLM 在数据标注中的方法学分类、包含 LLM 生成标注的模型的学习策略综述，并详细讨论了使用 LLM 进行数据标注所面临的主要挑战和限制。本文旨在为研究人员和从业者指导利用最新的 LLMs 进行数据标注，推动该关键领域的未来发展。

    Feb, 2024

  • 大型语言模型作为金融数据注释工具的效果与效率研究

    研究通过比较三种大型语言模型与专家标注者和众包工人标注的金融文档，发现大型语言模型可作为提取金融文档中关系的高效数据标注工具，并引入了一个可靠性指标用于识别需要专家关注的输出，提供了在特定领域设置中自动化注释的收集和使用的建议。

    Mar, 2024