提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

Sep, 2019

本文利用 BERT 模型对共指消解问题进行了研究，结果表明利用 BERT 模型在 OntoNotes 和 GAP 基准上取得了显著提升。自行搭建模型的测试结果表明，相比 ELMo 和 BERT-base 模型，BERT-large 模型在区分相关实体上表现更好，但在建模文档上下文、对话以及提取意象的方面，还有进一步提高的空间。

Aug, 2019

该研究基于 contextualized language representations 和 pretrained BERT model 开发了一种新的 event coreference 任务模型，通过训练神经网络分类器和简单的聚类算法，取得了 state-of-the-art 的实验结果。

Feb, 2021

本文描述了 BERT 在常识推理任务中的简单再现，展示了 BERT 生成的关注力可以被直接用于 Pronoun Disambiguation Problem 和 Winograd Schema Challenge 这些任务，提出的基于关注力的常识推理方法在各种数据集上表现出色，超过了之前报道的最先进水平。

May, 2019

本文研究了深度上下文表示预训练模型 BERT 的常识表征能力，并挑战了其在各种客观属性分类中的效果，提高了在下游常识推理任务中的性能，并且开发了一种与 BERT 一起微调知识图谱嵌入的方法，表明知识图谱的显式表述仍具有重要性。

Oct, 2019

本文提出了一种针对 NLP 中需要汇总来自远处的同一实体的信息的情况的循环层，该层使用外部系统提取的指代注释连接属于同一簇的实体提及，并将其合并到最先进的阅读理解模型中，从而改善了 Wikihop、LAMBADA 和 bAbi 人工智能任务的性能，并且可在数据稀缺时获得大的收益。

Apr, 2018

本篇论文介绍了一种轻量级端到端的共指消解模型，该模型不再需要手工特性和启发式算法，也省去了动态构建范围和范围对表示所需的内存，相比当前标准模型具有更简单和高效的特点。

Jan, 2021

本文提出了一种新的 NLI 模型 ——ExBERT，它可以利用外部知识源对 BERT 的上下文表示进行丰富，从而提升 BERT 的语言理解和推理能力，并在挑战性的 SciTail 和 SNLI 基准测试中实现了优异的表现。

Aug, 2021

本文介绍了一种模拟人类阅读过程并利用实体的指代信息来增强预训练语言模型中的词嵌入以提高模型性能的方法，头两种微调方式，即在预训练模型后添加额外的编码器层以关注实体的指代提及或构建关系图卷积网络来建模实体间的关系。结果表明，在微调阶段明确加入指代信息的方法比在预训练中加入指代信息的方法表现更好。

Oct, 2021

本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

Apr, 2019