介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

本文介绍了一种从维基百科数据中创建特定语言 BERT 模型的简单完全自动化流程，并引入 42 个新的这种模型，以往缺乏专门深度神经语言模型的语言。我们使用现有的 UDify 解析器对这些模型的优点进行评估，并发现 UDify 使用的 WikiBERT 模型在平均性能方面优于使用 mBERT 的解析器，这些特定语言模型在某些语言方面表现出显著的改进，而在其他语言方面改进有限或性能下降。我们还提供了初步结果作为了解特定语言模型最有益的条件的第一步。

Jun, 2020

本文提出了一种新颖的 Wave BERT（WaBERT）端到端模型，将语音模型和语言模型相结合，以用于口语理解任务，提高了语音特定信息和语言知识在短时间和低资源训练过程中的整合，从而在 SLUE SA 任务的开发数据集上将召回得分提高了 1.15％，F1 得分提高了 0.82％，此外还修改了序列连续整合和放电（CIF）机制，以实现语音和文本模态之间的单调对齐。

Apr, 2022

本文介绍了一种新的统一预训练语言模型 (UniLM)，该模型可用于自然语言理解和生成任务，使用了三种类型的语言建模任务进行预训练，采用共享 Transformer 网络和特定的自我注意掩码来控制预测条件的上下文，其在自然语言生成方面的表现优于 BERT，最终达到了五种自然语言生成数据集的最新最优成果。

May, 2019

本文介绍一种名为 StructBERT 的新型预训练语言模型，该模型通过引入语言结构的两个辅助任务进行预训练，包括单词和句子级别的结构，以适应不同水平的下游任务，其在各种下游任务上表现良好，包括 GLUE 基准测试的 89.0，SQuAD v1.1 问答的 F1 分数为 93.0，SNLI 的准确度为 91.7。

Aug, 2019

介绍了 UBERT，一种基于 BERT 的语言模型，通过替换原始的下一句预测任务为监督的同义预测任务进行 UMLS 术语的预训练，该模型能有效地在 UMLS Metathesaurus 的构建过程中替代 LexLM 模型，并且对超过 200 种医学基础词汇进行聚类并识别其中的同义词。

Apr, 2022

提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

Sep, 2019

本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

May, 2020

本文提出了一种名为 VU-BERT 图文联合嵌入的框架，通过用 patch projection 获取视觉嵌入来简化模型，从而解决了现有研究中用于建模交互的具有特定模态的模块难以使用的问题，并在可视对话任务上取得了较高的竞争性表现。

Feb, 2022

提出了一种用于联合学习和理解神经架构和自然语言的双模态模型 ArchBERT，引入了被称为 MAM 的预训练策略，提供了两个新的双模态数据集进行方法的训练和验证，通过一系列下游任务的实验验证了 ArchBERT 的性能。

Oct, 2023