Apr, 2024

领域驱动术语提取的大型语言模型比较研究

PDF
TL;DR关键词在文本数据的人机处理中起着至关重要的作用，关键词 / 领域驱动的术语提取是自然语言处理中的一个关键任务，本文评估了使用大型语言模型（LLMs）进行关键词提取的性能，并讨论了提示工程和幻觉在结果评估中的影响，同时指出了使用 LLMs 进行关键词提取的挑战。
keyword extractionlarge language models (llms)jaccard similarity indexprompt engineeringhallucination
发现论文，激发创造
  • LLM-TAKE：利用大型语言模型的主题感知关键词提取

    利用大型语言模型（LLMs）生成基于上下文的关键词，提出了主题感知关键词提取（LLM TAKE）的框架，通过避免输出非信息或敏感关键词，并减少在 LLMs 中普遍存在的幻觉，为电子商务领域的产品生成提取和抽象主题的两个变体，通过对三个真实数据集的广泛实验证明，该模型能够通过比较基准模型提升准确性和多样性。

    Dec, 2023

  • 使用大型语言模型进行系统综述中的数据提取探索：快速可行性研究

    该文章介绍了使用 GPT-4（一个大型语言模型）快速可行性研究来（半）自动化系统性综述中的数据提取，在设计和评估 LLM-based 自动化工具方面仍然存在欠缺的问题。

    May, 2024

  • 使用大型语言模型丰富机器学习数据集文档

    本文提出了一种利用大型语言模型和提示策略自动提取文档中的关键维度，并将其用于丰富数据集描述的方法。通过此方法，可以创建机器可读的文档，改善数据集的可发现性，评估其符合当前的 AI 法规，并改善对其训练的 ML 模型的整体质量。

    Apr, 2024

  • 大型语言模型为传统主题建模方法提供了一种替代方案

    本研究旨在探讨大型语言模型（LLMs）在主题提取方面的潜力，并建立评估协议以评估 LLMs 的聚类效果。通过深入实验与评估，总结了采用 LLMs 进行主题提取的优势和限制。

    Mar, 2024

  • 稻草堆中的话题：超越一致性的话题提取和评估

    该研究提出了一种方法，通过对句子和文档的主题进行深入理解，不仅分析数据中的词频，而且可以检测包括非常见词或新词在内的潜在主题，还使用了基于语义空间的异类词和相似性度量等新的评价指标，并通过与人工识别相似性度量的相关系数，在文本挖掘方面展现出优秀的性能结果。

    Mar, 2023

  • 利用大型语言模型进行实体匹配

    通过使用大型语言模型 (LLMs) 进行实体匹配，我们对可托管的 LLMs (如 GPT3.5 和 GPT4) 以及基于 Llama2 的开源 LLMs 进行了评估，在零 - shot 场景和有任务特定训练数据的场景中比较了不同的提示设计以及模型在零 - shot 场景中的提示敏感度。根据实验结果，我们发现 GPT4 在没有任务特定训练数据的情况下在三个基准数据集上优于精调的 PLMs (RoBERTa 和 Ditto)，达到约 90% 的 F1 分数，而在上下文学习和规则生成方面，除了 GPT4 之外，所有模型都从这些技术中受益（平均 F1 分数提高了 5.9% 和 2.2%），大多数情况下 GPT4 无需额外的指导。

    Oct, 2023

  • 评估大型语言模型用于公共卫生分类和提取任务

    基于对 LLMs 在公共卫生任务中的自动评估，将六个外部注释数据集与七个新的内部注释数据集相结合，评估 LLMs 在处理与健康负担、流行病学危险因素和公共卫生干预相关的文本中的性能，发现 Llama-3-70B-Instruct 是性能最好的模型，在 15 个任务中取得最佳结果。这些初步结果表明，LLMs 可能成为公共卫生专家从各种免费文本来源中提取信息，并支持公共卫生监测、研究和干预的有用工具。

    May, 2024

  • 大型语言模型作为数据预处理器

    此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

    Aug, 2023

  • 基础大型语言模型能辅助进行制药生产调查吗？

    利用历史记录，将大型语言模型（LLM）应用于制药生产调查，提取特定信息并进行语义搜索。

    Apr, 2024

  • 结构化知识库在大型语言模型中优化元数据整理的应用

    通过对 200 个描述肺癌人样本的 NCBI BioSample 数据记录进行实验，评估 GPT-4 对于符合元数据标准的建议编辑能力，并通过同行评审过程计算了字段名 - 字段值对的符合精确度，发现辅助 GPT-4 以 CEDAR 模板的文本描述作为领域信息，从 79% 提高到 97%（p<0.01），结果表明 LLMs 与结构化知识库整合后，可以在自动化元数据管理中显示出希望。

    Apr, 2024