EMNLPOct, 2020
LUKE: 深度上下文化实体表示与实体感知自注意力
LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention
Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, Yuji Matsumoto
TL;DR本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体,通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体,训练了一个新的与实体相关的自注意机制,实现了在实体相关任务中的良好表现。