本体蕴含推理的语言模型分析
我们提出了 LLMs4OL 方法,利用大型语言模型(LLMs)进行本体学习(OL)。通过全面评估使用零训练样例提示方法,我们发现 LLMs 可以有效地应用其语言模式捕捉能力于 OL,该能力包括从自然语言文本中自动提取和结构化知识。评估涵盖了对三个主要的 OL 任务进行九种不同的 LLM 模型家族的评估,包括术语类型化,分类系统发现以及非分类关系的提取,并包含了 WordNet 中的词汇语义知识,GeoNames 中的地理知识以及 UMLS 中的医学知识等多种类型的本体知识。
Jul, 2023
本文对大型语言模型在逻辑推理方面进行了全面评估,提出了一种基于选择和推理的框架,可以在不进行微调的情况下改进性能,并伴随着因果自然语言推理过程的答案。
May, 2022
经验分析表明,大型语言模型可以理解 DL-Lite 本体论,但在处理具有大型 ABox 的本体论以及理解 TBox NI 传递性方面存在困难。
Jun, 2024
通过注入本体知识来改进嵌入式大语言模型(embedding-LLM),本研究利用广泛的本体使用和基于对照学习框架,通过医学疾病本体的生物医学文档,展示了提高嵌入式 LLM 在描述疾病领域中的相似性评估能力的实验结果。
May, 2024
通过自动将自然语言句子转化为描述逻辑,我们使用大型语言模型将自然语言句子转换为 OWL 功能语法,用于丰富本体论,并通过人类监督的方式提供该工具作为 Protge 插件。
Jul, 2023
使用语言模型将从文本中提取的新概念插入本体的任务中,我们探索了一种三步骤的方法:边缘搜索,边缘形成和丰富,边缘选择。在所有步骤中,我们提出利用神经方法,其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索,并采用基于 BERT 微调的多标签边缘交叉编码器以及 GPT 系列、FLAN-T5 和 Llama 2 等大型语言模型进行边缘选择。我们评估了使用 SNOMED CT 本体和 MedMentions 实体链接基准创建的最新数据集上的方法。我们框架中的最佳设置使用了经过微调的预训练语言模型进行搜索,以及用于选择的多标签边缘交叉编码器。LLMs 的零 - shot 提示对于该任务仍然不足,因此我们提出了 LLMs 可解释指令调整以改进性能。我们的研究展示了预训练语言模型的优势,并突出了鼓舞人心的 LLMs 性能,这激发了未来的研究。
Feb, 2024
大型语言模型能够部分地记忆本体论概念,并且记忆程度与概念在网络上的普及程度成正比。本研究还提出了新的度量方法,通过测量在不同提示重复、查询语言和确定性程度下产生的输出的一致性来估计语言模型中本体论信息的记忆程度。
Jan, 2024
使用十个较小、开放式的语言模型在任务类型、应用领域和推理类型等三个方面进行了深入的实验分析,比较评估了语言模型和提示样式,并且展示了这些模型在特定需求下的有效性,以及与 SOTA 语言模型的竞争能力。
Jun, 2024
通过查询大型语言模型,我们提出了一种用于自动构建给定领域概念层级的方法,我们使用 OpenAI 的 GPT 3.5 将该方法应用于不同领域,实验证明 LLM 在构建概念层级方面具有相当的帮助。
Sep, 2023