EMNLPOct, 2020
位置编码学到了什么?一项关于预训练语言模型位置编码的实证研究
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
Yu-An Wang, Yun-Nung Chen
TL;DR本文通过特征级别分析和大量实证研究主流预训练位置嵌入对 Transformer 的影响,从而为特定任务选择适当的位置编码函数提供新的见解。