Dec, 2023

知识导航器：利用大型语言模型增强知识图推理

PDF
TL;DR本文提出了一种名为 KnowledgeNavigator 的新型框架，通过从知识图中高效准确地检索外部知识并将其作为增强 LLM 推理的关键因素，以解决 LLM 在需要长逻辑链或复杂推理的场景中所存在的幻觉和知识限制的问题。通过对给定问题的潜在约束进行挖掘和增强，KnowledgeNavigator 指导推理过程；然后，在 LLM 和问题的指导下，通过对知识图上的迭代推理来检索和过滤支持回答的外部知识；最后，KnowledgeNavigator 将结构化知识构建为对 LLM 有利的有效提示，以帮助其推理。实验证明该框架在多个公开的知识图问答基准测试上具有很高的效果和泛化能力，优于之前的知识图增强 LLM 方法，并且与完全监督模型相媲美。
发现论文，激发创造
  • 通过知识图谱集成协作的强化提示型 LLM 推理方案

    利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

    Feb, 2024

  • CuriousLLM: 提升多文档问答与推理注入的知识图提示

    在问答领域中，将大型语言模型与外部数据库结合已经取得了巨大的成功。然而，这些方法在提供复杂问答任务所需的高级推理方面常常效果不佳。为了解决这些问题，我们改进了一种称为 “知识图谱提示” 的新方法，该方法结合了知识图谱和基于大型语言模型的代理以提高推理和搜索准确性。然而，原始的知识图谱提示框架需要在大型数据集上进行昂贵的微调，并且仍然存在着大型语言模型幻觉的问题。因此，我们提出了一种注入推理能力的大型语言模型代理来增强该框架。这种代理模仿人类的好奇心来提问后续问题，以更高效地导航搜索。这种简单的改进显著提升了大型语言模型在问答任务中的性能，而无需承担初始 “知识图谱提示” 框架的高成本和延迟。我们的最终目标是进一步发展这种方法，在问答领域提供更准确、更快速、更具成本效益的解决方案。

    Apr, 2024

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • 探索大型语言模型与知识图谱的推理能力

    LLMs 通过内部的知识图来推理知识图谱，本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力，并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。

    Dec, 2023

  • 高效知识路径的推理：知识图引导领域问题回答的大型语言模型

    通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

    Apr, 2024

  • 知识求解器：教授 LLMs 从知识图谱中搜索领域知识

    本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

    Sep, 2023

  • 从知识图谱中学习为检索增强的大型语言模型规划

    使用来自知识图谱的规划数据，我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架，通过使用这些数据对 LLMs 进行微调，提高其规划能力，更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估，包括我们提出的新基准，突出了其有效性和知识图谱派生规划数据的好处。

    Jun, 2024

  • DIVKNOWQA: 通过知识库和文本进行开放领域问答评估 LLM 的推理能力

    大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于 Wikidata 的 SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

    Oct, 2023

  • 探究大型语言模型如何利用内部知识进行复杂推理

    通过将复杂的现实世界问题分解成图形，将每个问题表示为一个节点，并使用具有解决问题所需背景知识的父节点来研究大型语言模型（LLMs）如何利用知识进行推理。使用分层图形，我们量化了 LLMs 在较简单子问题与复杂问题上性能的前向差异和后向差异。此研究拓展了我们对 LLM 推理的理解，并提出了改进它们解决问题能力的方法。

    Jun, 2024

  • 检索 - 改写 - 回答：一种对知识图谱问题回答增强语言模型的框架

    尽管大型语言模型在知识密集型任务上表现出竞争力，但它们仍存在于记忆所有世界知识，尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的 KG-to-Text 方法，我们提出了一种将 KG 知识转化为对 KGQA 最有信息量的文本化陈述的方法，并基于此方法提出了一种 KG-to-Text 增强的 LLMs 框架来解决 KGQA 任务。在几个 KGQA 基准测试上的实验证明了所提出的 KG-to-Text 增强 LLMs 方法在回答准确性和知识陈述的有用性方面优于先前的 KG 增强 LLMs 方法。

    Sep, 2023