该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

Nov, 2019

本文提出了一种名为 BERTRL 的解决方案，该方案使用预训练语言模型和 fine-tuning，通过将关系实例及其可能的推理路径作为训练样本，支持归纳学习并在 15 个应用中超越现有技术。

Mar, 2021

提出了一种基于知识图谱关系的潜在关系语言模型 (Latent Relation Language Models, LRLMs), 该模型不仅能提高语言建模性能，还能添加实体跨度的后验概率，实验结果表明该模型的性能优于基准模型和之前的知识图谱信息存在的模型，定性分析进一步证明了所提议的模型在上下文中预测适当的关系的能力。

Aug, 2019

本研究旨在探讨如何从预训练的语言模型中提取出表示两个词之间关系的向量，并通过 Fine-tuning 使类似关系的词对应的向量相似，实验结果表明，即使在没有任务特定的 Fine-tuning 的情况下，所得到的关系嵌入在类比和关系分类基准测试中都具有很高的竞争力。

Sep, 2021

本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

Apr, 2019

本文提出了一种基于预训练语言模型的自动化知识图谱构建框架，仅以关系的最小定义为输入，利用多样的新设计提示，可以在一个给定的语言模型内进行高效的知识搜索，从而收获更具竞争力、多样性和创新性的知识，生成了一系列但不仅限于 BertNet 和 RoBERTaNet 含有更多包括一些复杂关系的符号知识图谱，并进一步用于解释不同语言模型之间的知识能力差异。

Jun, 2022

本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

May, 2023

本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。

May, 2019

通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

Sep, 2019

本研究介绍了 GPT-RE，这是一种解决大型语言模型在关系提取中局限性的方法，包括任务特定实体表现的使用和黄金标签引导推理逻辑的使用。该方法在四个数据集上的实验结果表明其超过了 GPT-3 基线并且在 Semeval 和 SciERC 数据集上实现了 SOTA 表现。

May, 2023