Apr, 2024

高效知识路径的推理：知识图引导领域问题回答的大型语言模型

PDF
TL;DR通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。
large language modelshallucination problemsstructured knowledge databasesreasoning pathssubgraph retrieval method
发现论文，激发创造
  • 知识求解器：教授 LLMs 从知识图谱中搜索领域知识

    本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

    Sep, 2023

  • 使用知识图谱直接评估多跳推理中的思路一致性

    大型语言模型（LLMs）在生成连贯思路解释时展现出强大的推理能力，然而，之前的研究仅关注于回答的准确性，忽略了生成的连贯思路的正确性。本文通过利用知识图谱（KGs）深入探讨 LLMs 在多跳问题回答中的连贯思路推理能力。我们提出了一种新颖的区分性和生成性连贯思路评估范式，用于评估 LLMs 关于推理的知识和生成连贯思路的准确性。通过在两个多跳问题回答数据集上对 5 个不同家族的 LLMs 进行的实验证明，LLMs 具有足够的知识进行推理，然而，LLMs 生成的连贯思路的准确性与回答的准确性存在显著差异，表明它们经常通过错误的推理方法得出正确的答案。

    Feb, 2024

  • 通过知识图谱集成协作的强化提示型 LLM 推理方案

    利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

    Feb, 2024

  • 思维的逻辑查询：通过知识图谱引导大型语言模型回答复杂逻辑查询

    本文提出了 'Logic-Query-of-Thoughts' (LGOT) 方法，首次将大型语言模型 (LLMs) 与基于知识图谱的逻辑查询推理相结合，通过将复杂的逻辑查询拆解为易答的子问题，并利用知识图谱推理和 LLMs 共同解答，最终获得准确的结果。实验结果显示 LGOT 在性能上得到了大幅提升，相比 ChatGPT 提高了 20%。

    Mar, 2024

  • HOLMES: 基于超关系的知识图谱用于多跳问答的 LLMs

    利用压缩的知识图作为输入，我们的方法在使用较少标记表示支持文档中与查询相关信息方面比现有方法利用高达 67% 的标记。我们的实验证明，在两个流行的基准数据集（HotpotQA 和 MuSiQue）上，我们的方法在多个指标（EM，F1，BERTScore 和人类评估）上持续改进。

    Jun, 2024

  • 图式推理：基于图形的增强大型语言模型

    使用 Graph-CoT 框架，通过对图进行迭代推理，将大型语言模型（LLMs）与图相结合，从而提高知识密集型任务中的性能。

    Apr, 2024

  • 图上推理：忠实且可解释的大型语言模型推理

    本论文提出了一种理论上基于知识图谱的新方法 —— 图推理（RoG），该方法通过将大型语言模型（LLMs）与知识图谱（KGs）相结合，实现了忠实和可解释的推理，实验结果表明 RoG 在 KG 推理任务上取得了最先进的性能。

    Oct, 2023

  • DIVKNOWQA: 通过知识库和文本进行开放领域问答评估 LLM 的推理能力

    大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于 Wikidata 的 SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

    Oct, 2023

  • 通过路径选择增强的知识图谱大型语言模型

    提出了一个称为 KELP 的基于知识图谱的大型语言模型的框架来解决幻觉问题，通过生成与输入文本的潜在语义匹配程度评分，实现对知识路径的精细提取，同时通过已训练的编码器考虑与输入文本间具有间接语义关系的知识路径。实验验证了 KELP 的有效性。

    Jun, 2024

  • 从知识图谱中学习为检索增强的大型语言模型规划

    使用来自知识图谱的规划数据，我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架，通过使用这些数据对 LLMs 进行微调，提高其规划能力，更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估，包括我们提出的新基准，突出了其有效性和知识图谱派生规划数据的好处。

    Jun, 2024