本文提出通过结构化的推理和语言模型预训练来模拟上下文中的结构化知识，并对复杂理解和知识图谱推理任务进行了实验，表明这种方法可以有效提高语言和知识图谱模式的复杂推理能力。

Jan, 2023

本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

May, 2022

探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

Jun, 2022

该研究介绍了一种半结构化提示方法，有效地整合了大型语言模型的参数记忆、文本文档的非结构化知识和知识图谱的结构化知识，并在开放领域的多跳问题回答数据集上进行实验证明了该提示方法显著优于现有技术，甚至超过了需要微调的方法。

Nov, 2023

本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

Dec, 2023

本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

Apr, 2022

本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

Sep, 2022

本文讨论了利用大型语言模型查询结构化和非结构化数据的潜力，并概述了构建这两种数据类型问答系统的相关研究挑战。

Apr, 2023

通过将转换器模型与知识表示相关联，本论文研究了自然语言理解和生成的效果，并回答了以下关键研究问题：(i) 实体知识是否能够超越实体链接等实体为中心的任务，并带来更多的好处？(ii) 如何从原始文本中准确有效地提取这种结构化知识，尤其是嘈杂的网络文本？(iii) 除了结构化知识，其他类型的知识如何对改进自然语言处理任务有所贡献？研究表明，引入相关和最新的实体知识有助于虚假新闻检测，而面向实体的语言转换显著提高了零样本跨语言迁移的效果。在提取结构化知识方面，将负面样本整合和与实体规划一起训练显著提高了性能。此外，研究还发现，其他一般形式的知识，如参数化知识和精炼知识，有助于多模态和多语言知识密集型任务。这项研究展示了多元知识整合的实际好处，并鼓励在这个方向上进一步探索。

Mar, 2024

提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

Oct, 2023