本文探讨了BERT对句法层次结构、位置信息以及自注意力向量的编码，并发现BERT在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明BERT的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的普遍敏感性没有人类大脑那么强。

Jun, 2019

本研究采用最新的语境化嵌入框架BERT，为词性标注、句法分析和语义分析三个任务提出了最新的技术模型，并在12个英文和中文数据集上进行了实验，结果表明BERT模型在这三项任务中均优于当前最佳模型平均2.5％（最显着的情况下是7.5％），并提供了关于BERT嵌入影响的深入分析。

Aug, 2019

应用BERT模型对中文分词任务进行了探究, 在标注不一致的情况下BERT模型可以稍稍提高性能, 具有良好的特征提取能力, 大模型通常具有更好的性能, 可作为其他神经网络模型的优秀特征候选项, Softmax表现可以不输CRF。

Sep, 2019

本文研究了语境化单词嵌入，并集中讨论了BERT这一深度神经网络，该网络产生了语境化的单词嵌入并在多个语义任务中创下了最好的记录，并研究了其嵌入空间的语义一致性。该文章表明，BERT具有一定的语义一致性，但并未完全符合语义向量空间的自然期望，尤其是发现单词出现在的句子位置虽然不具含义，但在单词嵌入中留下了明显的痕迹，破坏了相似性关系。

Nov, 2019

本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

Apr, 2020

本研究针对跨语言能力对多语言BERT进行了深入实验研究，发现数据大小和上下文窗口大小是跨语言能力的关键因素，探讨了多语言BERT中的语言特定信息，通过操作潜在表示控制多语言BERT的语言输出，实现了无监督令牌翻译，并提出了一种计算成本低但有效提高多语言BERT跨语言能力的方法。

Apr, 2020

通过研究BERT中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。

Apr, 2020

本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词-字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

Jul, 2022

本文提出了一种混合粒度的中文BERT模型（MigBERT），通过同时考虑字符和词来学习其特征表示，并在各种中文NLP任务上进行了广泛的实验以评估现有的PLMs以及所提出的MigBERT，实验结果表明，MigBERT在所有这些任务中都实现了新的最佳表现，MigBERT还能与日语一起使用。

Mar, 2023

本文提出了一种混合粒度的中文BERT模型（MigBERT），通过同时考虑字符和词，设计了学习字符和单词级表示的目标函数，在各种中文NLP任务上获得了新的SOTA性能，实验结果表明，单词语义比字符更丰富，而MigBERT也适用于日语。

Mar, 2023