ACLApr, 2022
DecBERT:利用因果性注意力掩码增强 BERT 的语言理解能力
DecBERT: Enhancing the Language Understanding of BERT with Causal Attention Masks
Ziyang Luo, Yadong Xi, Jing Ma, Zhiwei Yang, Xiaoxi Mao...
TL;DR本研究提出了一种新的预训练语言模型 DecBERT,通过引入因果注意力机制用于 BERT 模型的位置编码,证明其在自然语言处理任务中比传统方法更为有效,并通过 GLUE 基准测试取得了良好表现。