May, 2024

位置编码与上下文并不相同：顺序推荐中的位置编码研究

PDF
TL;DR通过分析位置编码，我们发现它们提供了不可从时间信息推断的项之间的相对信息，并且不同的编码方式会影响指标和稳定性。我们通过研究发现正确的位置编码可以达到最新的最先进结果，但更重要的是，某些编码方式能够稳定训练。
发现论文，激发创造
  • 位置编码帮助递归神经网络处理大词汇量

    该研究讨论位置编码对递归神经网络（RNN）的影响，利用合成基准测试。位置编码在时间序列中 “时间戳” 数据点，并且补充了 Transformer 神经网络的能力，因为其缺乏表示数据顺序的内在机制。与此相反，RNN 可以自行对数据点进行时间信息编码，使其对位置编码的使用似乎显得 “冗余”。然而，实证调查结果表明，即使与 RNN 结合使用，在处理产生多样观察结果的大词汇量时，位置编码仍然有效。这些发现开辟了关于 RNN 的新的研究方向，涉及输入驱动和自主时间表征的组合。此外，还讨论了计算 / 仿真结果在生物学上的含义，以及位置编码的正弦实现和生物脑中的神经振荡之间的相似之处。

    Jan, 2024

  • Transformer 的简单有效位置编码

    本文介绍了一种新的机制 ——Decoupled Positional Attention，将位置和段信息编码为 Transformer 模型，提高了训练和推理效率，在 GLUE、XTREME 和 WMT 基准测试中实现了竞争性表现，并进一步将该方法推广到远程的 transformers，显示了性能提升。

    Apr, 2021

  • Transformer 的动态位置编码

    本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

    Apr, 2022

  • 位置编码对 Transformer 中长度推广的影响

    本文研究了基于解码器的 Transformer 模型在用不同的位置编码方式时对长度泛化的影响，发现在一系列的推理和数学任务中，NoPE 的表现比其它方法更为优秀，而且无需额外计算。理论上，NoPE 能够代表绝对和相对位置嵌入，但在使用 SGD 训练时，它主要呈现 T5 相对位置嵌入的注意力模式。同时，scratchpad 并不总是有助于解决长度泛化问题，其格式对模型的性能有很大的影响。总之，本文的工作表明解码器 - only 的 Transformer 不一定需要显式的位置嵌入以在更长的序列上泛化良好。

    May, 2023

  • 音乐生成的结构导向位置编码

    利用结构信息的位置编码框架改进深度学习生成音乐的一项研究，通过使用变换器模型，提出了三种不同类型的位置信息编码方法，并通过两个符号音乐生成任务对其进行全面测试，结果表明这些方法能够提升生成音乐作品的旋律和结构的一致性。

    Feb, 2024

  • 表格式学习：实体和上下文嵌入的编码

    通过检查不同的编码技术对实体和上下文嵌入的影响，本研究的目标是挑战常用的顺序编码在表格学习中的应用。通过应用不同的预处理方法和网络架构在几个数据集上，得出了编码器对网络学习结果的影响的基准。通过保持测试、验证和训练数据的一致性，结果表明顺序编码在预处理数据和随后正确分类目标变量方面对于分类数据来说并不是最合适的编码器。通过计算相似度矩阵作为网络输入，基于字符串相似性对特征进行编码可以取得更好的结果。无论是实体还是上下文嵌入，变压器架构在顺序编码和相似度编码方面都表现出了改进的多标签分类任务性能。

    Mar, 2024

  • 时间序列预测中位置编码的引人注目特性

    Transformer-based methods have made significant progress in time series forecasting, but research on positional encoding remains insufficient. This paper introduces two new positional encodings, Temporal Position Encoding (T-PE) and Variable Positional Encoding (V-PE), and a Transformer-based dual-branch framework named T2B-PE, demonstrating superior robustness and effectiveness in extensive experiments.

    Apr, 2024

  • 改进 transformer 的位置编码以用于多元时间序列分类

    研究了 transformers 在时间序列数据中应用时所需的位置编码方法，提出了一种新的绝对位置编码方法，称为时间绝对位置编码（tAPE）；提出了一种高效的相对位置编码实现方法（eRPE），并将 tAPE/eRPE 与卷积输入编码相结合，提出了一种新的多元时间序列分类（MTSC）模型 ConvTran。此模型在 32 个多元时间序列数据集上进行的广泛实验表明，优于最先进的卷积和 transformer-based 模型。

    May, 2023

  • 语音识别和直接翻译的相对位置编码

    通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

    May, 2020

  • 相对位置编码在线性复杂度 Transformer 中的应用

    本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

    May, 2021