通过路径选择增强的知识图谱大型语言模型
本文提出了使用知识图谱和大型语言模型的三种框架,分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作,实现双向推理,提高自然语言处理和人工智能的表现,同时指出未来的研究方向。
Jun, 2023
通过在知识图谱(KG)上选择推理路径并结合思维链(CoT)和 PageRank 的子图检索方法,本文整合和优化了一个基于大型语言模型(LLM)的管道,可以减少对 LLM 的依赖。最终,RoK 证明了使用较少的 LLM 调用可以达到相同的结果。
Apr, 2024
该论文回顾了使用知识图谱增强的预训练模型的研究,详细介绍了现有的知识图谱增强预训练语言模型(KGPLMs)及其应用,并提出了基于知识图谱增强的大型语言模型(KGLLM)的思想以增强 LLM 的面向事实的推理能力,为 LLM 的研究开辟了新的途径。
Jun, 2023
大型语言模型在各种自然语言处理任务中表现出色,但在处理需要广泛、现实世界知识的任务,特别是那些涉及长尾实体的任务时,仍然存在困难。为了解决这个问题,本研究分析了不同类型的非参数化知识对语言模型的影响,其中包括文本片段和知识图谱。通过创建一个需要长尾事实知识来回答问题的基准测试工具,我们评估了最先进的语言模型在不同知识环境下的表现。实验结果表明,单独使用语言模型来回答这些问题存在困难,特别是在需要大量长尾知识或丰富知识的情况下。然而,当为语言模型提供非参数化知识时,这些模型的性能显著提高。我们观察到,在大多数情况下,使用知识图谱三元组作为提示的语言模型表现优于使用最先进的检索器的段落提示。此外,虽然同时为语言模型提供知识图谱三元组和文档并不能始终改善知识覆盖率,但可以显著减少生成内容中的幻觉。
May, 2024
通过使用链式思维促进和上下文学习,该研究介绍了一种新方法,即知识图大型语言模型框架(KG-LLM),以提高知识图中多跳链接预测的效果。实验证明,集成上下文学习和链式思维不仅增加了方法的性能,而且显著提高了模型的泛化能力,从而在陌生情境中实现更准确的预测。
Mar, 2024
我们介绍了一个名为 Clue-Guided Path Exploration (CGPE) 的框架,它有效地将知识库和大型语言模型相结合,以少量的计算资源要求更新模型的知识,并在开放数据集上的实验证明其优于现有方法,对于计算资源有限的组织和个人具有重要的实际价值。
Jan, 2024
本文提出了一种名为知识解决器(KSL)的范例,通过利用大型语言模型(LLMs)的强大概括能力,教给它们从外部知识库中搜索必要知识,并将检索过程转化为多跳决策序列,增强了 LLMs 的搜索能力,提高了推理过程的可解释性。在三个数据集上的实验证实,我们的方法相对基准模型的表现有很大的提升。
Sep, 2023
在个性化教育时代,为学习推荐提供易于理解的解释对增强学习者的理解和参与推荐的学习内容具有巨大价值。本文提出了一种利用知识图谱作为意见引擎源的方法,以减小语言模型模型的错误生成的风险,并确保高精度地满足学习者的意图,同时保持有关应用的学习上下文。我们利用知识图谱中的语义关系提供关于学习推荐的精心策划的知识。通过将领域专家纳入研究的提示工程阶段,设计解释模板,由语言模型进行填充和完成来确保解释包含与学习者相关的信息。我们定量评估了我们的方法使用 Rouge-N 和 Rouge-L 指标,并进行了与专家和学习者的质性评估。我们的结果表明,与仅由 GPT 模型生成的解释相比,生成的解释具有更高的召回率和准确度,并且极大地降低了最终学习解释中生成不准确信息的风险。
Mar, 2024
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法,本研究在知识图谱的指导下,通过迭代探索和选择性地检索任务相关的知识子图来支持推理,使得 LLMs 能更可靠地进行基于知识的推理,并同时明确阐述推理过程,实验结果表明本方法在多个数据集上显著改进,尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%,为今后的知识图谱和大型语言模型融合研究提供了有价值的参考,提升 LLMs 在解决复杂问题上的能力。
Feb, 2024