思维导图：大型语言模型中的知识图谱引发思维火花
在问答领域中，将大型语言模型与外部数据库结合已经取得了巨大的成功。然而，这些方法在提供复杂问答任务所需的高级推理方面常常效果不佳。为了解决这些问题，我们改进了一种称为 “知识图谱提示” 的新方法，该方法结合了知识图谱和基于大型语言模型的代理以提高推理和搜索准确性。然而，原始的知识图谱提示框架需要在大型数据集上进行昂贵的微调，并且仍然存在着大型语言模型幻觉的问题。因此，我们提出了一种注入推理能力的大型语言模型代理来增强该框架。这种代理模仿人类的好奇心来提问后续问题，以更高效地导航搜索。这种简单的改进显著提升了大型语言模型在问答任务中的性能，而无需承担初始 “知识图谱提示” 框架的高成本和延迟。我们的最终目标是进一步发展这种方法，在问答领域提供更准确、更快速、更具成本效益的解决方案。
Apr, 2024
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
利用大型语言模型 (LLMs) 并结合图结构提示的方法来增强预训练图神经网络 (GNNs) 的图谱归纳推理能力，通过实验证明该方法在低资源场景下的推理任务中表现出强大的鲁棒性和性能提升.
Feb, 2024
在个性化教育时代，为学习推荐提供易于理解的解释对增强学习者的理解和参与推荐的学习内容具有巨大价值。本文提出了一种利用知识图谱作为意见引擎源的方法，以减小语言模型模型的错误生成的风险，并确保高精度地满足学习者的意图，同时保持有关应用的学习上下文。我们利用知识图谱中的语义关系提供关于学习推荐的精心策划的知识。通过将领域专家纳入研究的提示工程阶段，设计解释模板，由语言模型进行填充和完成来确保解释包含与学习者相关的信息。我们定量评估了我们的方法使用 Rouge-N 和 Rouge-L 指标，并进行了与专家和学习者的质性评估。我们的结果表明，与仅由 GPT 模型生成的解释相比，生成的解释具有更高的召回率和准确度，并且极大地降低了最终学习解释中生成不准确信息的风险。
Mar, 2024
本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。
Sep, 2023
我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。
Feb, 2024
大型语言模型在各种自然语言处理任务中表现出色，但在处理需要广泛、现实世界知识的任务，特别是那些涉及长尾实体的任务时，仍然存在困难。为了解决这个问题，本研究分析了不同类型的非参数化知识对语言模型的影响，其中包括文本片段和知识图谱。通过创建一个需要长尾事实知识来回答问题的基准测试工具，我们评估了最先进的语言模型在不同知识环境下的表现。实验结果表明，单独使用语言模型来回答这些问题存在困难，特别是在需要大量长尾知识或丰富知识的情况下。然而，当为语言模型提供非参数化知识时，这些模型的性能显著提高。我们观察到，在大多数情况下，使用知识图谱三元组作为提示的语言模型表现优于使用最先进的检索器的段落提示。此外，虽然同时为语言模型提供知识图谱三元组和文档并不能始终改善知识覆盖率，但可以显著减少生成内容中的幻觉。
May, 2024
在多文档问答（MD-QA）方案中，使用知识图谱引导大型语言模型进行提示设计的带有图构造和遍历模块的知识图谱提示（KGP）方法，在提取支持材料和减少检索延迟方面取得了显著效果，并显示出利用图形增强大型语言模型中的提问设计的潜力。
Aug, 2023
LLMs 通过内部的知识图来推理知识图谱，本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力，并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。
Dec, 2023