Sep, 2021

SHAPE: 基于位移的绝对位置编码用于Transformers

TL;DR本论文通过随机平移绝对位置来构建shift invariance的position representation SHAPE,其计算效率和性能与其他方法相当且更为简单。