Apr, 2024

时间序列预测中位置编码的引人注目特性

PDF
TL;DRTransformer-based methods have made significant progress in time series forecasting, but research on positional encoding remains insufficient. This paper introduces two new positional encodings, Temporal Position Encoding (T-PE) and Variable Positional Encoding (V-PE), and a Transformer-based dual-branch framework named T2B-PE, demonstrating superior robustness and effectiveness in extensive experiments.
time series forecastingtransformer-based methodspositional encodingtemporal position encodingvariable positional encoding
发现论文，激发创造
  • 改进 transformer 的位置编码以用于多元时间序列分类

    研究了 transformers 在时间序列数据中应用时所需的位置编码方法，提出了一种新的绝对位置编码方法，称为时间绝对位置编码（tAPE）；提出了一种高效的相对位置编码实现方法（eRPE），并将 tAPE/eRPE 与卷积输入编码相结合，提出了一种新的多元时间序列分类（MTSC）模型 ConvTran。此模型在 32 个多元时间序列数据集上进行的广泛实验表明，优于最先进的卷积和 transformer-based 模型。

    May, 2023

  • 相对位置编码在线性复杂度 Transformer 中的应用

    本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

    May, 2021

  • 位置编码的局部性与对称性

    位置编码（PEs）用于将单词顺序信息注入基于 Transformer 的语言模型中。本研究对双向遮蔽语言模型（BERT-style）中的位置编码进行了系统研究，揭示了其核心功能和与下游任务性能相关的两个常见特性（局部性和对称性），并对当前位置编码的弱点进行了定量评估。这些结果可为开发基于 Transformer 的语言模型的更好位置编码提供基础。

    Oct, 2023

  • Transformer 的动态位置编码

    本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

    Apr, 2022

  • 位置编码对 Transformer 中长度推广的影响

    本文研究了基于解码器的 Transformer 模型在用不同的位置编码方式时对长度泛化的影响，发现在一系列的推理和数学任务中，NoPE 的表现比其它方法更为优秀，而且无需额外计算。理论上，NoPE 能够代表绝对和相对位置嵌入，但在使用 SGD 训练时，它主要呈现 T5 相对位置嵌入的注意力模式。同时，scratchpad 并不总是有助于解决长度泛化问题，其格式对模型的性能有很大的影响。总之，本文的工作表明解码器 - only 的 Transformer 不一定需要显式的位置嵌入以在更长的序列上泛化良好。

    May, 2023

  • 球面位置编码对于变压器的应用

    通过在变压器架构中引入地理标记信息（geotokens），本文基于 RoPE 架构提出了一种适用于球坐标系的位置编码机制，以达到在嵌入空间中保持地理位置与物理距离之间比例关系的目的。

    Oct, 2023

  • 通过位置编码比较图变换器

    图转换器的区分能力与位置编码的选择紧密相关，本文旨在理解绝对位置编码和相对位置编码之间的关系，并展示了在图转换器中如何交换这两种类型的位置编码而保持它们的区分能力。基于理论结果，我们对几种位置编码进行了研究并比较了它们在转换器中的区分能力，从而为位置编码的未来设计提供指导。

    Feb, 2024

  • 地理令牌和地理转换器

    该论文介绍了一种针对变压器架构的位置编码方法，使用地理位置信息的输入组件，通过球面坐标定制的位置编码方法。与传统的语言序列不同，这些地理位置的相对顺序不如地理坐标本身重要，为了在嵌入空间中保持真实世界距离和距离的平衡，该方法基于 Rotary Position Embedding 结构进行设计。

    Mar, 2024

  • 视觉 Transformer 的条件位置编码

    本文提出了一种条件位置编码方案 (CPE) 用于视觉 Transformers，通过在输入标记的本地邻域上生成并使其动态生成的位置编码，以解决模型寻找较长输入序列的问题，从而在图像分类任务中保持所需的平移不变性，并通过实验证明，CPVT 比使用学习位置编码的注意力地图拥有更好的性能表现。

    Feb, 2021

  • 重新思考语言预训练中的位置编码

    提出一种新的位置编码方法 TUPE，该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算，并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中，我们证明了该方法的有效性。

    Jun, 2020