May, 2019
自然语言理解与生成的统一语言模型预训练
Unified Language Model Pre-training for Natural Language Understanding and Generation
Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu...
TL;DR本文介绍了一种新的统一预训练语言模型 (UniLM),该模型可用于自然语言理解和生成任务,使用了三种类型的语言建模任务进行预训练,采用共享 Transformer 网络和特定的自我注意掩码来控制预测条件的上下文,其在自然语言生成方面的表现优于 BERT,最终达到了五种自然语言生成数据集的最新最优成果。