Sep, 2023

知识求解器：教授 LLMs 从知识图谱中搜索领域知识

PDF
TL;DR本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。
large language modelsdomain-specific knowledgegraph neural networksknowledge retrievalexplanation of reasoning
发现论文，激发创造
  • 评估 LLMs 用于知识图谱补全的适用性

    大型语言模型 (LLMs) 能够解决与知识图谱相关的任务，如知识图谱补全，尤其在零次或少次训练的范式下。然而，它们被称为会产生错误的答案，或以不确定的方式输出结果，从而导致错误推理的回答，即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战，我们在静态知识图谱的知识图谱补全任务中，使用 TELeR 分类法构建的提示，在零次和一次迭代的上下文中，通过两个显著的 LLMs 进行实验，即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125，在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时，我们的结果表明，如果提示包含足够的信息和相关示例，LLMs 可能适用于这样的任务。

    May, 2024

  • 高效知识路径的推理：知识图引导领域问题回答的大型语言模型

    通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

    Apr, 2024

  • 通过知识图谱集成协作的强化提示型 LLM 推理方案

    利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

    Feb, 2024

  • DIVKNOWQA: 通过知识库和文本进行开放领域问答评估 LLM 的推理能力

    大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于 Wikidata 的 SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

    Oct, 2023

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • 基于学习推荐的 LLM 解释的上下文源知识图

    在个性化教育时代，为学习推荐提供易于理解的解释对增强学习者的理解和参与推荐的学习内容具有巨大价值。本文提出了一种利用知识图谱作为意见引擎源的方法，以减小语言模型模型的错误生成的风险，并确保高精度地满足学习者的意图，同时保持有关应用的学习上下文。我们利用知识图谱中的语义关系提供关于学习推荐的精心策划的知识。通过将领域专家纳入研究的提示工程阶段，设计解释模板，由语言模型进行填充和完成来确保解释包含与学习者相关的信息。我们定量评估了我们的方法使用 Rouge-N 和 Rouge-L 指标，并进行了与专家和学习者的质性评估。我们的结果表明，与仅由 GPT 模型生成的解释相比，生成的解释具有更高的召回率和准确度，并且极大地降低了最终学习解释中生成不准确信息的风险。

    Mar, 2024

  • 知识导航器：利用大型语言模型增强知识图推理

    本文提出了一种名为 KnowledgeNavigator 的新型框架，通过从知识图中高效准确地检索外部知识并将其作为增强 LLM 推理的关键因素，以解决 LLM 在需要长逻辑链或复杂推理的场景中所存在的幻觉和知识限制的问题。通过对给定问题的潜在约束进行挖掘和增强，KnowledgeNavigator 指导推理过程；然后，在 LLM 和问题的指导下，通过对知识图上的迭代推理来检索和过滤支持回答的外部知识；最后，KnowledgeNavigator 将结构化知识构建为对 LLM 有利的有效提示，以帮助其推理。实验证明该框架在多个公开的知识图问答基准测试上具有很高的效果和泛化能力，优于之前的知识图增强 LLM 方法，并且与完全监督模型相媲美。

    Dec, 2023

  • 基于知识图谱的高效知识渗透

    针对大型语言模型（LLMs）中领域特定知识匮乏的问题，本文提出了一种基于知识图谱检索增强的方法，通过利用少量标记样本和大规模语料库，构建了领域特定的知识图，并通过三阶段的知识图与 LLM 对齐策略增强了 LLM 利用知识图的能力，实验证明我们的方法优于现有基准模型。

    Jun, 2024

  • 通过知识图谱增强大型语言模型，实现事实感知语言建模

    该论文回顾了使用知识图谱增强的预训练模型的研究，详细介绍了现有的知识图谱增强预训练语言模型（KGPLMs）及其应用，并提出了基于知识图谱增强的大型语言模型（KGLLM）的思想以增强 LLM 的面向事实的推理能力，为 LLM 的研究开辟了新的途径。

    Jun, 2023

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023