Jan, 2024

位置编码帮助递归神经网络处理大词汇量

PDF
TL;DR该研究讨论位置编码对递归神经网络（RNN）的影响，利用合成基准测试。位置编码在时间序列中 “时间戳” 数据点，并且补充了 Transformer 神经网络的能力，因为其缺乏表示数据顺序的内在机制。与此相反，RNN 可以自行对数据点进行时间信息编码，使其对位置编码的使用似乎显得 “冗余”。然而，实证调查结果表明，即使与 RNN 结合使用，在处理产生多样观察结果的大词汇量时，位置编码仍然有效。这些发现开辟了关于 RNN 的新的研究方向，涉及输入驱动和自主时间表征的组合。此外，还讨论了计算 / 仿真结果在生物学上的含义，以及位置编码的正弦实现和生物脑中的神经振荡之间的相似之处。
positional encodingrecurrent neural networkstransformer neural networksdata ordertemporal information
发现论文，激发创造
  • Transformer 的动态位置编码

    本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

    Apr, 2022

  • 位置编码与上下文并不相同：顺序推荐中的位置编码研究

    通过分析位置编码，我们发现它们提供了不可从时间信息推断的项之间的相对信息，并且不同的编码方式会影响指标和稳定性。我们通过研究发现正确的位置编码可以达到最新的最先进结果，但更重要的是，某些编码方式能够稳定训练。

    May, 2024

  • 使用连续动态模型为 Transformer 学习位置编码

    提出了一种新的位置信息编码方法，使用神经常微分方法对非循环模型（如 Transformer）进行编码，并证明在翻译和理解任务中，该编码方法与已有编码方法相比具有更好的性能。

    Mar, 2020

  • 基于隐式神经表示的紧凑数据表示的改进位置编码

    提出了一种改进了隐式神经表示（INR）的重构质量的新型位置编码方法，该嵌入方法在紧凑数据表示方面具有更大数量的频率基础，并在压缩任务中不引入任何额外复杂度的情况下，在速率失真性能和新视角合成的重构质量方面取得了显著的增益。

    Nov, 2023

  • 改进 transformer 的位置编码以用于多元时间序列分类

    研究了 transformers 在时间序列数据中应用时所需的位置编码方法，提出了一种新的绝对位置编码方法，称为时间绝对位置编码（tAPE）；提出了一种高效的相对位置编码实现方法（eRPE），并将 tAPE/eRPE 与卷积输入编码相结合，提出了一种新的多元时间序列分类（MTSC）模型 ConvTran。此模型在 32 个多元时间序列数据集上进行的广泛实验表明，优于最先进的卷积和 transformer-based 模型。

    May, 2023

  • 使用树形编码的 Transformer 实现神经程序生成

    使用树形定位编码方案，结合自然语言分词词汇表，在编码任务中应用 Transformers 所能获得更好的效果

    May, 2022

  • 相对位置编码在线性复杂度 Transformer 中的应用

    本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

    May, 2021

  • Transformers 中的位置信息：概述

    本文综述了如何将位置信息整合到 Transformer 模型中，以比较不同方法在重要模型维度上的优劣，以及指出在选择位置编码时应考虑的应用特性，并为未来的研究提供刺激。

    Feb, 2021

  • 随机位置编码增强 Transformer 的长度泛化

    本研究发现，Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是，它们不能在任意长度序列上泛化，即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案，可以解决长序列位置编码失效的问题，并通过大规模实验，证明该方案可提高分类精度。

    May, 2023

  • Transformer 的简单有效位置编码

    本文介绍了一种新的机制 ——Decoupled Positional Attention，将位置和段信息编码为 Transformer 模型，提高了训练和推理效率，在 GLUE、XTREME 和 WMT 基准测试中实现了竞争性表现，并进一步将该方法推广到远程的 transformers，显示了性能提升。

    Apr, 2021