Jun, 2021
使用连续的增强位置嵌入编码相对位置的 CAPE
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Tatiana Likhomanenko, Qiantong Xu, Gabriel Synnaeve, Ronan Collobert, Alex Rogozhnikov
TL;DR这篇论文提出了一种增强型绝对位置嵌入 (CAPE) 的方法,使得 Transformer 神经网络在保持绝对位置嵌入简单和快速的同时,能够更好地推广到训练时未曾出现的更长序列,并在机器翻译等领域中获得更好的性能。