本研究提供了一个基于微软产品和技术问题的产业特定 QA 知识的检测基准 MSQA，旨在评估旨在提高 LLM 领域特定能力的方法。此外，我们提出了一种新的模型交互范式，可以使 LLM 在不熟练的领域特定任务上实现更好的性能。实验表明，遵循我们的模型融合框架的方法优于常用的检索方法的 LLM。

May, 2023

针对大型语言模型（LLMs）中领域特定知识匮乏的问题，本文提出了一种基于知识图谱检索增强的方法，通过利用少量标记样本和大规模语料库，构建了领域特定的知识图，并通过三阶段的知识图与 LLM 对齐策略增强了 LLM 利用知识图的能力，实验证明我们的方法优于现有基准模型。

Jun, 2024

本文提出了一种知识感知语言模型（KALM），它通过对局部、文档级别和全局上下文中的知识进行联合利用，用于长文档理解任务，并以可解释的知识交换实现整个文档的表示，并在六个数据集 / 设置上取得了最先进的效果。

Oct, 2022

本文提出一种名为 KILM 的方法，在不修改预训练语言模型结构或添加参数的情况下，通过一种生成式知识补充目标，将实体相关的知识注入到编 - 解码预训练语言模型中，实验结果表明，KILM 可以使模型保持更多的知识并且在零样本学习的情况下取得更好的性能。

Feb, 2023

通过综述知识融入大型语言模型的趋势、方法分类、基准和应用，本文概述了该研究领域的全貌，并指出了未来的研究方向。

Nov, 2023

本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

Nov, 2023

通过从特定领域的文本源有效提取相关知识和自适应培训聊天机器人，我们引入了一种增强大型语言模型（LLMs）的新方法。我们的模型通过训练知识矿工 LLMiner 自动从相关文档中提取问题和答案对，并将这些 QA 对与对话数据集结合来对 LLM 进行微调，从而丰富了其特定领域的专业知识和对话能力。与通常基于领域语料库直接微调的模型相比，我们的模型在新的评估基准上表现出显著的性能改进，并且只需要人为介入的最小数量的种子实例，为 LLMs 通过模型合成的训练数据实现自我改善提供了可能性。

Nov, 2023

本文研究了如何利用特定领域的知识以协助适应自然语言处理领域中的商业实例，以保险业的问答任务为例，设计出一个基于 LLMs 的新模型，通过利用保险政策手册中的特定领域知识，可以协助理解保险新概念，初步结果表明来自政策手册的知识提高了 GPT-3.5 在可靠性方面的推论能力。

May, 2023

本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

May, 2022

本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

Sep, 2023