本文提出了一种新的语言表征模型 CorefBERT，可以在捕获上下文中的语义信息的同时，明确处理代词消解，实现语篇的一致理解，并在各种需要代词推理的下游 NLP 任务中获得显著的改善。

Apr, 2020

本文介绍了一个基于 Transformer 预训练语言模型的简单而有效的代替神经指代消解模型的 baseline，证明合理简化已有模型可以取得与复杂模型相媲美的性能表现。

Jul, 2021

本研究采用最新的语境化嵌入框架 BERT，为词性标注、句法分析和语义分析三个任务提出了最新的技术模型，并在 12 个英文和中文数据集上进行了实验，结果表明 BERT 模型在这三项任务中均优于当前最佳模型平均 2.5％（最显着的情况下是 7.5％），并提供了关于 BERT 嵌入影响的深入分析。

Aug, 2019

本文针对多实体关系建模进行研究，使用预训练语言模型 (BERT) 解决文本级别的关系提取任务，并通过分阶段预测实体间关系的方式提高了任务的性能。

Sep, 2019

本文介绍了第一个端到端的共指消解模型，并展示了它在不使用句法分析器或手工制作的提及检测器的情况下，明显优于所有以前的工作。模型的关键思想是直接将文档中的所有跨度作为可能的提及，并学习每个可能的先行词的分布。模型计算跨度嵌入，将依赖于上下文的边界表示与定位注意机制相结合。它被训练成最大化核对聚类中的黄金先行跨度的边际可能性，并分解以便于对可能存在的提及进行积极修剪。实验表明，尽管这是第一个成功训练不使用外部资源的方法，它仍可以在 OntoNotes 基准测试上获得 1.5 F1 分数的增益，并使用 5 个模型集合获得 3.1 F1 分数的提升。

Jul, 2017

本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

Apr, 2019

本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

Apr, 2019

本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

Sep, 2021

在对比最近的指代消解模型，并针对文本中的字跨度和潜在联系过多的问题，提出通过单个词汇之间的指代联系，重新构建字跨度来减轻计算量并出色于以前的模型。新模型在 OntoNotes 基准测试中表现出与最近的模型相当的竞争力，且在效率上显著提高。

Sep, 2021

本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

Apr, 2022