介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

本文研究了自然语言处理中的 BERT 模型及其多语言版本 (mBERT)，比较并探究了语言特定的 BERT 模型与 mBERT 在架构、数据领域和任务上的差异和共性，为读者提供了一个直观的综述和交互式展示网站。

Mar, 2020

本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

Apr, 2021

本文介绍了 TourBERT，它是一种旅游专用的预训练语言模型，评估表明，TourBERT 在所有旅游特定任务中均优于 BERT。

Jan, 2022

该研究的主要目的是探讨如何利用大规模的预训练语言模型如 BERT 来进行语言生成任务，并提出了一种基于条件掩码语言建模（C-MLM）的方法，使用 BERT 对学生模型进行监督，从而实现更好的文本生成性能，实验证明该方法在多语言生成任务上明显优于强大的 Transformer 基线，包括机器翻译和文本摘要，并在 IWSLT 德英和英越 MT 数据集上取得了新的最优效果。

Nov, 2019

本研究提出了一种基于预训练模型的文本简化方法，通过新的掩码语言建模机制和小规模文本数据集的持续预训练，最终获得了一种名为 SimpleBERT 的模型，该模型在词汇简化和句子简化任务中均超过了 BERT，并在多个数据集上取得了最先进的结果。此外，SimpleBERT 可以无需修改地替换现有的简化模型。

Apr, 2022

BERTweet 是第一个用于英语推文的公共大规模预训练语言模型，通过 RoBERTa 预训练程序进行训练并表现优于之前的最先进模型，可用于推文文本的各种任务。

May, 2020

本论文旨在训练适用于韩语的小型语言模型 KR-BERT，通过采用较小的词汇表和数据集、优化令牌化方法，提高了韩语语言现象的捕捉效率，实现了与大型语言模型相媲美甚至更优的性能。

Aug, 2020

本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

Jan, 2019

本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

Jan, 2020