本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。
May, 2019
这篇论文提出了一种基于预训练语言模型的 E2GRE 框架，通过实体引导序列和内部注意概率作为额外特征，来帮助文献级关系抽取和证据预测，并取得了在 DocRED 数据集上最先进的结果。
Aug, 2020
该研究提出了一种基于 BERT 语言模型和聚焦注意力机制的联合实体和关系抽取模型，通过动态范围注意机制，提高了共享参数层的特征表示能力，实验结果表明，该方法在冠状动脉造影文本上的名词实体识别和关系分类任务的 F1 得分分别达到 96.89% 和 88.51%，优于现有技术水平。
Aug, 2019
本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。
Apr, 2019
本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。
利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。
Oct, 2019
该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。
Nov, 2019
本文利用 BERT 模型对共指消解问题进行了研究，结果表明利用 BERT 模型在 OntoNotes 和 GAP 基准上取得了显著提升。自行搭建模型的测试结果表明，相比 ELMo 和 BERT-base 模型，BERT-large 模型在区分相关实体上表现更好，但在建模文档上下文、对话以及提取意象的方面，还有进一步提高的空间。
本研究提出了一种基于 BERT 的双编码器模型，可一次处理文档中的多个关键词，解决了现有模型效率低的问题，在生物医学实体链接领域取得了与现有模型相当的准确性，并对其进行了改进，实现了端到端生物医学实体链接，表现出更好的性能.
Mar, 2021
本文提出了一种名为 BERTRL 的解决方案，该方案使用预训练语言模型和 fine-tuning，通过将关系实例及其可能的推理路径作为训练样本，支持归纳学习并在 15 个应用中超越现有技术。