Mar, 2024

使用受控词汇进行列标题的文本分类：利用语言模型进行元数据增强

PDF
TL;DR传统数据集检索系统主要依赖元数据信息进行索引，而不是数据值。本文提出了一种使用三个大型语言模型 (ChatGPT-3.5、GoogleBard 和 GoogleGemini) 对列标题进行主题注释的元数据增强方法。通过评估模型的内部一致性、机器间对齐性和人机一致性来验证模型的能力，并研究上下文信息对分类结果的影响。结果表明，ChatGPT 和 GoogleGemini 在内部一致性和模型 - 人的一致性方面优于 GoogleBard。有趣的是，我们发现上下文对于语言模型的表现没有影响。本文提出了一种使用控制主题词汇来利用语言模型进行文本分类的新方法，有潜力促进自动化的元数据增强，从而提升在 Web 上的数据集检索、查找性、可访问性、互操作性和可重用性 (FAIR)。
发现论文，激发创造
  • 利用大型语言模型为主题元数据添加注释：澳大利亚国家研究数据目录的案例研究

    本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

    Oct, 2023

  • 使用大型语言模型匹配表格元数据与业务词汇

    使用大型语言模型的方法，无需手动调整，能够匹配表格元数据和业务词汇，从而实现对结构化数据的检索和分析。

    Sep, 2023

  • 结构化知识库在大型语言模型中优化元数据整理的应用

    通过对 200 个描述肺癌人样本的 NCBI BioSample 数据记录进行实验，评估 GPT-4 对于符合元数据标准的建议编辑能力，并通过同行评审过程计算了字段名 - 字段值对的符合精确度，发现辅助 GPT-4 以 CEDAR 模板的文本描述作为领域信息，从 79% 提高到 97%（p<0.01），结果表明 LLMs 与结构化知识库整合后，可以在自动化元数据管理中显示出希望。

    Apr, 2024

  • 自动注释中的知识蒸馏：由 LLM 生成的训练标签进行监督文本分类

    使用生成的大型语言模型生成的标签对监督文本分类模型进行微调，与使用人工标注的标签相比表现相当，是一种快速、高效和经济有效的构建监督文本分类器的方法。

    Jun, 2024

  • ChatGPT 在电子学位论文中用于 LCSH 主题分配的实验

    研究调查了大型语言模型（LLMs）用于生成美国国会图书馆主题标头（LCSH）的潜力，并使用 ChatGPT 根据电子学位论文的标题和摘要生成主题标头，结果显示尽管一些生成的主题标头是有效的，但存在特定性和详尽性方面的问题。这项研究展示了 LLMs 可以作为对学术图书馆中等待编目项目的积压的战略性应对，同时为即时生成 LCSH 提供了一种具有成本效益的方法。然而，人工编目员仍然对 LLMs 生成的 LCSH 的有效性、详尽性和特定性进行验证和提升是必不可少的。

    Mar, 2024

  • 探索大型语言模型在识别误导性新闻标题中的潜力

    利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。

    May, 2024

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024

  • 大型语言模型作为数据预处理器

    此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

    Aug, 2023

  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023