该研究论文介绍了 Text2KGBench 这个基准评估工具，可以评估语言模型的能力，从自然语言文本中生成知识图谱，并根据本体论从文本中提取事实。研究还提供了基准模型的结果和显示了使用语义网和自然语言处理技术，可以进一步提高模型性能的潜力。

Aug, 2023

本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

May, 2022

使用知识图谱增强对话代理的准确性和全面性，但在对话时生成文本仍被认为是一项具有挑战性的任务，本文回顾了知识图谱文本生成的不同架构，包括图神经网络、图变换器和序列到序列模型，选择使用序列到序列变压器模型（PLMs）作为知识图谱到文本生成任务的模型，并探索未来多语言维度的研究方向。

Jul, 2023

本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

Nov, 2021

尽管大型语言模型在知识密集型任务上表现出竞争力，但它们仍存在于记忆所有世界知识，尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的 KG-to-Text 方法，我们提出了一种将 KG 知识转化为对 KGQA 最有信息量的文本化陈述的方法，并基于此方法提出了一种 KG-to-Text 增强的 LLMs 框架来解决 KGQA 任务。在几个 KGQA 基准测试上的实验证明了所提出的 KG-to-Text 增强 LLMs 方法在回答准确性和知识陈述的有用性方面优于先前的 KG 增强 LLMs 方法。

Sep, 2023

本论文介绍了如何使用预训练语言模型构建知识图谱，从而达到无须人类监督的效果，并通过比较人类创建的两个知识图谱，证明了构建的知识图谱的质量高，能够提供新的事实知识，并公开了相关代码和知识图谱。

Oct, 2020

自然语言处理和计算机视觉领域中近期的研究一直在利用知识图谱中可用的文本信息，例如实体名称和描述，来将神经模型与高质量的结构化数据对接。然而，在非英语语言中，可用的文本信息的数量和质量相对较少。为了解决这个问题，我们提出了自动知识图谱增强（KGE）的新任务，并对英语和非英语语言之间的文本信息的数量和质量差异进行了深入研究。作为对增加多语言覆盖率和实体名称、描述精确度的问题的研究，我们呈现了 M-NTA，一种新的无监督方法，结合了机器翻译（MT），网络搜索（WS）和大型语言模型（LLMs）以生成高质量的文本信息，并研究了增加非英语文本信息的多语言覆盖率和精确度对实体链接、知识图谱补全和问题回答的影响。作为我们朝着更好的多语种知识图谱的努力的一部分，我们还介绍了 WikiKGE-10，第一个跨 7 个语系评估 10 种语言中的 KGE 方法的人工策划的基准。

Nov, 2023

提出了一种通过对文本输入进行多阶段知识图谱生成的系统，并通过使用预训练的语言模型生成图节点，然后使用简单的边构造头部来使得从文本中提取知识图谱效率更高。该模型在 WebNLG 2020 挑战数据集，New York Times（NYT）和大规模 TekGen 数据集上表现不错，超过现有基线。

Nov, 2022

本文提出一种通过利用外部实体描述来为知识理解提供上下文信息的方法，将其作为预训练语言模型的附加输入，以解决知识图谱融合到语言建模中的问题，并获得了常识 QA 数据集中最先进的结果和 OpenBookQA 中非生成模型中最好的结果。

Dec, 2020

本文研究了知识图谱和预训练语言模型相结合的文本分类任务，对常见的文本到知识图谱对齐方法进行了评估，结果表明当前的方法相对于完全相关的查询子图存在一定的局限性。

Jun, 2023