我们介绍了一种新颖的位置编码策略，用于 Transformer 风格模型，解决了现有方法的不足之处。我们的框架提供了一种灵活的映射，从一个领域的代数规范到正交操作符的解释。该设计保留了源域的代数特性，确保模型满足所需的结构属性。我们的方案可以适应各种结构，包括序列、网格和树形结构，以及它们的组合。我们进行了一系列实验证明我们方法的实际适用性。结果表明，在没有超参数优化或任何 “任务搜索” 的情况下，性能可以达到或超过当前的最新水平。代码将在 github.com/konstantinosKokos/UnitaryPE 上提供。

Dec, 2023

提出了一个名为 Space2Vec 的表示学习模型，用于将地点的绝对位置和空间关系进行编码，并在地理数据和图像分类两个任务上得到了比径向基函数和多层前馈神经网络等传统机器学习方法更好的效果，其特点是具有多尺度表示能力。

Feb, 2020

图变换器（GTs）通过计算节点对的自注意力，而不考虑节点位置信息，促进了对图结构数据的理解。为了解决这一限制，我们引入了一种创新且高效的框架，将位置编码（PEs）引入 Transformer，生成一组可学习的位置编码，这些位置编码存在于非欧几里德域中的双曲空间。通过这种方法，我们可以探索用于特定下游任务的 PEs 的多种选择选项，利用双曲神经网络或双曲图卷积网络。此外，我们重新使用这些位置编码来减轻深层图神经网络（GNNs）中的过度平滑的影响。对分子基准数据集、合著作者网络和共同购买网络进行的全面实验证实了双曲位置编码在提高深层 GNN 性能方面的有效性。

Dec, 2023

本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

May, 2021

通过在变压器架构中引入地理标记信息（geotokens），本文基于 RoPE 架构提出了一种适用于球坐标系的位置编码机制，以达到在嵌入空间中保持地理位置与物理距离之间比例关系的目的。

Oct, 2023

本文提出了一种基于可学习的 Fourier 特征的新型位置编码方法，能够优化空间多维位置的表示、提高精度和加速收敛速度。

Jun, 2021

该研究提出了一种新的位置编码方法，用于学习 Transformer 架构上的图形，结果表明这种方法优于以往的方法并可公开获取其代码。

Jan, 2022

该论文介绍了一种针对变压器架构的位置编码方法，使用地理位置信息的输入组件，通过球面坐标定制的位置编码方法。与传统的语言序列不同，这些地理位置的相对顺序不如地理坐标本身重要，为了在嵌入空间中保持真实世界距离和距离的平衡，该方法基于 Rotary Position Embedding 结构进行设计。

Mar, 2024

本文提出了一种新的 GNN 网络架构 LSPE，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，应用在分子数据集上的实验结果表明 LSPE 能显著提高模型性能。

Oct, 2021

GPSE 是第一个训练图编码器以捕获丰富的位置和结构编码表示来增强任何 GNN 的编码器，其可用于提取图形位置和结构信息的大型预训练模型的开发并突出它们作为明确计算 PSE 和现有的自监督预训练方法的可行替代方案。

Jul, 2023