May, 2020
双向编码器句法结构提取预训练
Syntactic Structure Distillation Pretraining For Bidirectional Encoders
Adhiguna Kuncoro, Lingpeng Kong, Daniel Fried, Dani Yogatama, Laura Rimell...
TL;DR本文研究了文本表示学习器在句法表现上的优越性和在自然语言句法中的应用,提出了将句法模型的预测注入 BERT 的知识蒸馏策略,并表明在一系列结构预测任务中,这种方法能够显著地减少相对误差。