BriefGPT.xyz
Oct, 2023
球面位置编码对于变压器的应用
Spherical Position Encoding for Transformers
HTML
PDF
Eren Unlu
TL;DR
通过在变压器架构中引入地理标记信息（geotokens），本文基于RoPE架构提出了一种适用于球坐标系的位置编码机制，以达到在嵌入空间中保持地理位置与物理距离之间比例关系的目的。
Abstract
position encoding
is the primary mechanism which induces notion of sequential order for input tokens in
transformer architectures
. Even though this formulation in the original transformer paper has yielded plausi
→