基于知识图谱的高效知识渗透

ACLJun, 2024

Efficient Knowledge Infusion via KG-LLM Alignment

Zhouyu Jiang, Ling Zhong, Mengshu Sun, Jun Xu, Rui Sun...

TL;DR针对大型语言模型（LLMs）中领域特定知识匮乏的问题，本文提出了一种基于知识图谱检索增强的方法，通过利用少量标记样本和大规模语料库，构建了领域特定的知识图，并通过三阶段的知识图与 LLM 对齐策略增强了 LLM 利用知识图的能力，实验证明我们的方法优于现有基准模型。

Abstract

To tackle the problem of domain-specific knowledge scarcity within large language models (LLMs), knowledge graph-retrievalaugmented method has been proven to be an effective and efficient technique for knowledge infusion. However, existing approaches face two primary challenges:

domain-specific knowledge scarcity knowledge graph-retrieval-augmented method knowledge mismatch information compliance biomedical question-answering

发现论文，激发创造

知识注入框架再探

大型语言模型 (LLMs) 在全球范围内取得了重大影响，然而如何利用外部知识使这些模型更好地适应垂直领域特定任务的问题仍未完全解决。本文针对此问题进行了深入研究，提出了一种基于剪枝和净化外部知识库的方法，该方法能够克服注入知识时的常识问题，并进一步推动领域自适应语言模型的性能界限。

Nov, 2023

知识求解器：教授 LLMs 从知识图谱中搜索领域知识

本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

Sep, 2023

基于 LMM 的教育问答系统的跨数据知识图构建：以 HCMUT 为案例研究

通过结合大型语言模型（LLMs）和知识图谱（KGs），本研究论文提出了一种自动构建知识图谱的方法，并讨论了在数字教育环境中，LLMs 与 KGs 结合在问答任务中的初步应用。

Apr, 2024

InfuserKI: 通过 Infuser 引导知识集成增强大型语言模型

通过使用 Infuser-Guided Knowledge Integration (InfuserKI) 框架，我们能够高效地将未知的知识集成到 Large Language Models (LLMs) 中，从而有效地减少知识遗忘，并超过现有方法在减少知识遗忘上的表现。

Feb, 2024

CogMG：大型语言模型与知识图谱之间的协同增强

使用协作增强框架 CogMG，结合知识图谱解决了大型语言模型在问答场景中的不完整知识覆盖和知识更新不匹配的问题，并通过监督微调的 LLM 在一个代理框架中展示了在减少幻觉和提高答案的事实准确性方面取得的显著改进。

Jun, 2024

从人类专家到机器：一个基于 LLM 的本体和知识图构建方法

利用开源 LMMs 进行（半）自动化构建知识图谱的可行性研究以及深度学习方法的知识图谱构建

Mar, 2024

SKILL: 大语言模型结构化知识注入

本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

May, 2022

探索用于知识图谱完成的大型语言模型

在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。

Aug, 2023

GLaM: 通过邻域分区和生成子图编码对领域知识图的大型语言模型进行微调

我们介绍了一种用于开发图形对齐的语言模型（GLaM）的微调框架，该框架将知识图形转化为具有标签的问题 - 答案对的替代文本表示。我们证明，以特定基于图形的知识为基础的模型具有更强的结构化推理能力。我们的方法利用大型语言模型的生成能力创建数据集，并提出了一种效率高于检索增强型生成方法的替代方法。

Feb, 2024

大型语言模型与知识图谱相互作用的研究趋势

本研究调查了大型语言模型（LLMs）与知识图谱（KGs）之间的协同关系，旨在探讨 KG 问答、本体生成、KG 验证以及通过 LLMs 提高 KG 准确性和一致性等领域的研究空白。该论文还检验了 LLMs 在生成描述性文本和自然语言查询方面的作用，并通过分类 LLM-KG 交互、研究方法论和合作使用以及潜在偏见等结构化分析，提供了它们的结合潜力的新见解。该研究强调了它们的交互对于提升人工智能应用的重要性，并概述了未来的研究方向。

Jun, 2024