ACLOct, 2020
ERNIE-Gram: 显式 N-Gram Masked 语言模型的预训练用于自然语言理解
ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding
Dongling Xiao, Yu-Kun Li, Han Zhang, Yu Sun, Hao Tian...
TL;DR该论文提出 ERNIE-Gram,一种显式 n-gram 屏蔽方法,可以将粗粒度的语言信息有效地融入预训练中,通过在 19 个后续任务上的实验结果表明,ERNIE-Gram 可以大幅优于先前的预训练模型,也可以与最先进的方法相媲美。