OLaLa:利用大型语言模型的本体匹配
LLMs4OM 框架通过零样本提示技术,利用大型语言模型在本体匹配任务中评估大型语言模型的效果,并在不同本体表示(概念、概念父类、概念子类)之间实现检索和匹配两个模块,全面评估了 20 个不同领域的本体匹配数据集,结果表明,在复杂匹配场景下,LLMs 在 LLMs4OM 框架下的性能可以与甚至超过传统的本体匹配系统,凸显了 LLMs 在本体匹配领域的潜力。
Apr, 2024
本文介绍了一种基于代理和大型语言模型的本体匹配系统设计范例,并通过实证评估证明其在简单、复杂和少样本本体匹配任务上的性能显著优于现有系统。
Dec, 2023
我们提出了 LLMs4OL 方法,利用大型语言模型(LLMs)进行本体学习(OL)。通过全面评估使用零训练样例提示方法,我们发现 LLMs 可以有效地应用其语言模式捕捉能力于 OL,该能力包括从自然语言文本中自动提取和结构化知识。评估涵盖了对三个主要的 OL 任务进行九种不同的 LLM 模型家族的评估,包括术语类型化,分类系统发现以及非分类关系的提取,并包含了 WordNet 中的词汇语义知识,GeoNames 中的地理知识以及 UMLS 中的医学知识等多种类型的本体知识。
Jul, 2023
通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析,我们发现对于从语义三元组生成自然语言文本,少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力,尤其对于表现出低零样本性能的较小模型。
Feb, 2024
大型语言模型 (LLMs) 能够解决与知识图谱相关的任务,如知识图谱补全,尤其在零次或少次训练的范式下。然而,它们被称为会产生错误的答案,或以不确定的方式输出结果,从而导致错误推理的回答,即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战,我们在静态知识图谱的知识图谱补全任务中,使用 TELeR 分类法构建的提示,在零次和一次迭代的上下文中,通过两个显著的 LLMs 进行实验,即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125,在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时,我们的结果表明,如果提示包含足够的信息和相关示例,LLMs 可能适用于这样的任务。
May, 2024
评估了没有在此任务上进行明确预训练的大型语言模型的性能,并通过一系列实验在广泛的基准数据集上比较了具有不同提示技术和不同大小的模型,并确定了生成输出中的常见问题类型。结果表明,大型语言模型能够从对话中生成图查询,并通过少样本提示和微调技术实现显著提升,特别是对于展现较低零样本性能的较小模型。
Jan, 2024
通过使用大型语言模型 (LLMs) 进行实体匹配,我们对可托管的 LLMs (如 GPT3.5 和 GPT4) 以及基于 Llama2 的开源 LLMs 进行了评估,在零 - shot 场景和有任务特定训练数据的场景中比较了不同的提示设计以及模型在零 - shot 场景中的提示敏感度。根据实验结果,我们发现 GPT4 在没有任务特定训练数据的情况下在三个基准数据集上优于精调的 PLMs (RoBERTa 和 Ditto),达到约 90% 的 F1 分数,而在上下文学习和规则生成方面,除了 GPT4 之外,所有模型都从这些技术中受益(平均 F1 分数提高了 5.9% 和 2.2%),大多数情况下 GPT4 无需额外的指导。
Oct, 2023
提出了一种通过直接在 LLM 的输入中添加知识以增强其内部存储的知识的方法,称为 KAPING,通过在知识图上检索相关事实来改善零 - shot 闭书问答任务性能,经验证跨多个大小不同的 LLM,基于事实的知识增强方法相对于相关零 - shot 基线的平均表现提高达 48%。
Jun, 2023