图神经网络 (GNN) 在学习图数据的语义方面具有很强的能力。最近，一种名为 “预训练、提示” 的新范式在利用较少监督数据将 GNNs 适应各种任务方面取得了有希望的结果。成功的这种范式可以归因于预训练和面向任务的提示调整之间更一致的目标，其中预训练知识可以有效地转移到下游任务。然而，现有研究中一个被忽视的问题是，在预训练阶段利用图的结构信息来学习节点表示，而在提示调整阶段却被忽略了。为了弥合这一差距，我们提出了一种新颖的基于结构的 GNN 提示方法，即 SAP，它在预训练和提示调整阶段都一致地利用了结构信息。具体来说，SAP 使用双视图对比学习来对齐节点属性和图结构的潜在语义空间，并在提示的图中加入结构信息以引发更多预训练知识。我们在节点分类和图分类任务上进行了大量实验证明了 SAP 的有效性。此外，我们还表明 SAP 可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。

Oct, 2023

利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

Feb, 2024

提出了图神经传递（GNP）方法，通过利用知识图谱，辅助预训练大型语言模型（LLMs）学习有益的知识，具有在常识和生物医学推理任务中的优越性能。

Sep, 2023

本文提出了一种基于知识库和维基百科文本的异构证据自动提取方法以回答常识问题，通过构建图形结构并使用图形卷积网络对邻居信息进行编码并利用图形注意力机制聚合证据来预测最终答案，成功地提高了 CommonsenseQA 数据集上的准确性达到了最先进水平。

Sep, 2019

我们的论文引入了结构引导提示，这是一个创新的三阶段任务无关提示框架，旨在提高大型语言模型在零样本环境下的多步推理能力。通过将非结构化文本转换为图形，指导模型在图形中导航，并使用任务特定的策略来制定响应，我们的实验表明这一框架显著增强了大型语言模型的推理能力，使其在更广泛的自然语言场景中表现出色。

Feb, 2024

本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

Sep, 2022

借助知识图谱，本研究探索了如何通过知识图谱向 LLMs 提供新知识和推理路径，并通过生成心智地图来解释 LLMs 的推理过程，实验证明 MindMap 方法在问答任务中显著提升了性能。

Aug, 2023

该研究提出了一种基于知识图谱的语义推理框架，以解决常识性问题，并通过引入 KagNet 模型和 ConceptNet 外部资源，取得了在常识 QA 数据集上的最佳表现。

Sep, 2019

本文提出了一种名为 CSProm-KG 的方法，该方法通过平衡结构信息和文本知识来完成知识图谱的补全任务，CSProm-KG 只调整由实体和关系表示生成的条件软提示的参数，验证了其在多个静态和动态知识图谱补全基准测试中的有效性和优越性。

Jul, 2023

提出了一种通过直接在 LLM 的输入中添加知识以增强其内部存储的知识的方法，称为 KAPING，通过在知识图上检索相关事实来改善零 - shot 闭书问答任务性能，经验证跨多个大小不同的 LLM，基于事实的知识增强方法相对于相关零 - shot 基线的平均表现提高达 48%。

Jun, 2023