本研究旨在探讨如何从预训练的语言模型中提取出表示两个词之间关系的向量，并通过 Fine-tuning 使类似关系的词对应的向量相似，实验结果表明，即使在没有任务特定的 Fine-tuning 的情况下，所得到的关系嵌入在类比和关系分类基准测试中都具有很高的竞争力。

Sep, 2021

我们提出了一种使用相对较小的语言模型从文本中提取关系嵌入的方法，这种方法可以在关系相似性方面取得出色的结果，并且在关键词和模型性能方面显著优于其他基于提示的语言模型。

Sep, 2023

通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

Sep, 2019

本文提出了一种名为 BERTRL 的解决方案，该方案使用预训练语言模型和 fine-tuning，通过将关系实例及其可能的推理路径作为训练样本，支持归纳学习并在 15 个应用中超越现有技术。

Mar, 2021

本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。

May, 2019

我们提出了一种新的预训练模型，利用基于维基百科的知识图谱实现了在实体和关系上的双重表示，以及利用跨度模块进行有效编码，相较于现有模型使用更少的参数。实验结果表明，相比 RoBERTa 模型，我们模型在信息抽取任务上表现更好，尤其在监督学习任务中达到了很高的竞争水平。

Aug, 2022

本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

May, 2022

本文中，我们提出了一种用于编码关系性知识的词嵌入方法，其旨在为已有的标准词嵌入方法提供一种补充。通过从共现统计数据中学习出这种关系性词向量，我们发现它确实捕捉到了非常有用的补充信息。

Jun, 2019

使用句法分析和预先训练的词嵌入技术，在缺乏任何形式监督的情况下，提取少量精确关系，用于注释更大的语料库，并在生物医学领域的四个数据集上通过微调预先训练的 BERT 模型进行关系抽取实验表明，与无监督关系提取的两个简单的基线相比，我们的方法显著优于两个简单的基线，即使不使用任何监督，也获得了三个数据集中的最先进结果之一；更重要的是，我们证明了使用噪声数据可以成功地对大型预先训练的语言模型进行微调，而不是依赖于黄金数据进行微调。

Nov, 2019

这篇文章探讨了 BERT 模型如何从它的参数化内存中获取关系知识，并使用知识库补全任务在 BERT 的每一层中进行了测试。作者发现，中间层对于 BERT 模型中的总知识量贡献了很大的部分，同时发现 fine-tune 时，与训练数据和训练目标有关。而容量和事实密度是学习事实的关键。

Jun, 2021