LLM 作为提示器:在任意知识图上进行低资源归纳推理
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
在问答领域中,将大型语言模型与外部数据库结合已经取得了巨大的成功。然而,这些方法在提供复杂问答任务所需的高级推理方面常常效果不佳。为了解决这些问题,我们改进了一种称为 “知识图谱提示” 的新方法,该方法结合了知识图谱和基于大型语言模型的代理以提高推理和搜索准确性。然而,原始的知识图谱提示框架需要在大型数据集上进行昂贵的微调,并且仍然存在着大型语言模型幻觉的问题。因此,我们提出了一种注入推理能力的大型语言模型代理来增强该框架。这种代理模仿人类的好奇心来提问后续问题,以更高效地导航搜索。这种简单的改进显著提升了大型语言模型在问答任务中的性能,而无需承担初始 “知识图谱提示” 框架的高成本和延迟。我们的最终目标是进一步发展这种方法,在问答领域提供更准确、更快速、更具成本效益的解决方案。
Apr, 2024
借助知识图谱,本研究探索了如何通过知识图谱向 LLMs 提供新知识和推理路径,并通过生成心智地图来解释 LLMs 的推理过程,实验证明 MindMap 方法在问答任务中显著提升了性能。
Aug, 2023
我们通过复杂问题回答作为任务,对比了不同的知识图谱注入方法,旨在探索最佳提供知识图谱给大型语言模型的提示方法,从而增强其对知识图谱的理解能力。与预期相反,我们的分析发现,大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识,并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。
Feb, 2024
在个性化教育时代,为学习推荐提供易于理解的解释对增强学习者的理解和参与推荐的学习内容具有巨大价值。本文提出了一种利用知识图谱作为意见引擎源的方法,以减小语言模型模型的错误生成的风险,并确保高精度地满足学习者的意图,同时保持有关应用的学习上下文。我们利用知识图谱中的语义关系提供关于学习推荐的精心策划的知识。通过将领域专家纳入研究的提示工程阶段,设计解释模板,由语言模型进行填充和完成来确保解释包含与学习者相关的信息。我们定量评估了我们的方法使用 Rouge-N 和 Rouge-L 指标,并进行了与专家和学习者的质性评估。我们的结果表明,与仅由 GPT 模型生成的解释相比,生成的解释具有更高的召回率和准确度,并且极大地降低了最终学习解释中生成不准确信息的风险。
Mar, 2024
本论文提出了一种理论上基于知识图谱的新方法 —— 图推理(RoG),该方法通过将大型语言模型(LLMs)与知识图谱(KGs)相结合,实现了忠实和可解释的推理,实验结果表明 RoG 在 KG 推理任务上取得了最先进的性能。
Oct, 2023
LLMs 通过内部的知识图来推理知识图谱,本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力,并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。
Dec, 2023
本文提出了一种基于文本编码的结构模型框架,用于在知识图谱上进行归纳逻辑推理,通过设计渐进式的指令和额外的注意力和 maxout 层来增强结构建模,成功处理了复杂查询的逻辑结构,提高了在归纳和转导数据集上的推理效率。
May, 2023
研究使用图神经网络的归纳节点和关系结构表征方法对知识图谱中的新实体进行逻辑推理的方法,并实验发现归纳模型能够在推理时间内对未见节点进行推理,同时可以推广至训练天数 500%大的图表,表现出较高效率和效果平衡的特点。
Oct, 2022