本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

Apr, 2020

本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

May, 2022

本论文提出一种基于顺序文本的知识表示学习方法，通过循环神经网络、注意力机制等实现对实体语义信息的编码和选取信息量高的语句，以及在三元组分类和链接预测任务中实现了优异的效果。

Sep, 2016

本文提出一种新颖的深度架构，以利用实体的结构和文本信息的宝贵信息。其中，注意力模型可以选择所需的相关信息，并应用门控机制将结构和文本的表征集成到一个统一的架构中。实验表明，我们的模型在链接预测和三元组分类任务上的表现优于基线。

Nov, 2016

提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

Oct, 2023

通过将转换器模型与知识表示相关联，本论文研究了自然语言理解和生成的效果，并回答了以下关键研究问题：(i) 实体知识是否能够超越实体链接等实体为中心的任务，并带来更多的好处？(ii) 如何从原始文本中准确有效地提取这种结构化知识，尤其是嘈杂的网络文本？(iii) 除了结构化知识，其他类型的知识如何对改进自然语言处理任务有所贡献？研究表明，引入相关和最新的实体知识有助于虚假新闻检测，而面向实体的语言转换显著提高了零样本跨语言迁移的效果。在提取结构化知识方面，将负面样本整合和与实体规划一起训练显著提高了性能。此外，研究还发现，其他一般形式的知识，如参数化知识和精炼知识，有助于多模态和多语言知识密集型任务。这项研究展示了多元知识整合的实际好处，并鼓励在这个方向上进一步探索。

Mar, 2024

知识库问答 (KBQA) 旨在使用实体和知识库中的关系等事实性信息回答自然语言问题。为了弥合文本和结构化知识库之间的差距，我们提出了一种结构化知识感知的预训练方法 (SKP)。在下游的 KBQA 任务中，我们设计了一种高效的线性化策略和一个区间式关注机制，分别帮助模型更好地编码复杂的子图并在推理过程中屏蔽无关子图的干扰。通过对 WebQSP 的详细实验和分析，验证了 SKP 的有效性，尤其是在子图检索方面的显著改进 (+4.08% H@10)。

Aug, 2023

通过自然语言处理中的上下文学习，自动提取命名实体及其关系，实现知识图谱自动化构建。

May, 2023

本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

Apr, 2019

本论文使用预训练的知识图谱嵌入模型，结合文本语料库的句子级上下文表示，实现了较高性能的关系抽取模型，并通过实验验证了该方法的有效性和出色性能。

Jun, 2023