通过对预训练语言模型的深入分析，我们发现未经微调的BERT模型竞争传统NLP方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式QA系统的潜力展现。

Sep, 2019

本研究探讨基于预训练语言模型作为知识库的Paradigm，提出两个基本要求：存储大量涉及大量实体的事实和查询存储的事实的能力，并探索了三种实体表示法，提供了一个实证，证明语言模型确实可以作为知识库。

Aug, 2020

本论文介绍了如何使用预训练语言模型构建知识图谱，从而达到无须人类监督的效果，并通过比较人类创建的两个知识图谱，证明了构建的知识图谱的质量高，能够提供新的事实知识，并公开了相关代码和知识图谱。

Oct, 2020

本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了KE-PLMs在各种NLU和NLG应用中的超越性能以及KE-PLMs面临的挑战和未来研究方向。

Oct, 2021

本文介绍了基于预训练语言模型的知识增强模型（PLMKEs）的当前进展，并通过分析三个重要组成部分：知识来源，知识密集型NLP任务和知识融合方法来介绍其挑战和未来方向。

Feb, 2022

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及KE-PLMs在NLU和NLG任务中的应用和未来发展方向。

Nov, 2022

本文介绍了一种更具挑战性的基准数据集和方法，用于评估语言模型在无监督知识库补全方面的潜力，并发现了语言模型在补全 Wikidata 中 nativeLanguage、usedLanguage 和 citizenOf 等关系方面表现出强大的泛化能力。

Mar, 2023

本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

Jun, 2023

大型语言模型在理解和生成复杂查询方面表现出了卓越的能力，但它们在存储、回忆和推理大规模结构化知识方面的有效性仍有待研究，本研究发现虽然大型语言模型有望作为大规模知识库灵活地检索和回答问题，但需要增强它们的推理能力以充分发挥潜力。

Feb, 2024

利用大型语言模型作为知识库的可靠性和效果尚未得到充分研究，该研究通过定义可靠性标准和指标，评估了26个热门语言模型的效果，并发现即使高性能模型如GPT-3.5-turbo也不具备事实性和一致性，而在上下文学习和微调等策略上的努力也未能改善这些语言模型作为知识库的表现。

Jul, 2024