EMNLPMar, 2022

仍可学习位置信息的 Transformer 语言模型无需位置编码

PDF
TL;DR本研究探讨了基于因果变换的语言模型（LMs），例如 GPT-3，需要某种形式的位置编码，例如位置嵌入。然而，我们发现在没有任何显式位置编码的情况下，这样的 LM 与标准模型仍然具有竞争力，这一现象在不同的数据集、模型大小和序列长度中是鲁棒的。进一步实验表明，这种模型通过网络获取隐含的绝对位置概念，从而有效弥补了缺失的信息。我们推测，因果注意力使模型能够推断每个令牌可以关注的前任数，从而近似其绝对位置。我们的发现表明，因果 LMs 除了显式的定位机制外，还可以从因果掩码的影响中推导出位置意识。
发现论文，激发创造
  • 无需位置嵌入，自注意力变化中潜在位置信息的转换语言模型

    本研究论述了传统 Transformer 语言模型中位置嵌入的必要性，提出随机初始化且去除位置嵌入的模型仍具备显著的位置信息，可以舍弃位置嵌入以提高预训练模型的效率。

    May, 2023

  • 增加遮挡时，词序很重要

    本研究探讨了在 Transformer-based 神经语言模型中移除位置编码的影响，发现掩码语言建模任务中位置信息的重要性随着掩码数量的增加而增加，并且没有位置编码的模型不能完成该任务，这揭示了 Transformers 通过位置编码捕捉语言的顺序敏感方面的直接关系。

    Nov, 2022

  • 绝对位置嵌入的奇妙案例

    使用 Transformer 语言模型中的绝对位置嵌入会导致对相对位置信息的过度依赖，从而使得模型在句子位置信息被移位时性能显著下降，这表明了使用绝对位置嵌入所建模 “相对位置信息” 的功效需要重新审视。

    Oct, 2022

  • 训练 Transformer 时打破对称性

    通过研究我们发现，Transformer 架构在没有位置编码和因果注意机制之一的情况下，对于输入令牌 $n+1$ 的预测对于输入令牌 $1, 2, ..., n-1$ 的排列是不变的，而通常情况下，两种机制都被采用并破坏了对输入令牌的对称性。最近已经证明可以在没有位置编码的情况下训练 Transformer，这必须依靠因果注意机制来实现。本文详细阐述了因果连接机制必须负责 Transformer 能够模拟有序输入序列的论点，并提供了这一现象的证据。

    Feb, 2024

  • Transformer 的简单有效位置编码

    本文介绍了一种新的机制 ——Decoupled Positional Attention，将位置和段信息编码为 Transformer 模型，提高了训练和推理效率，在 GLUE、XTREME 和 WMT 基准测试中实现了竞争性表现，并进一步将该方法推广到远程的 transformers，显示了性能提升。

    Apr, 2021

  • 基于 Transformer 的因果语言模型进行聚类

    通过对合成数据集的分析，我们发现大规模语言模型通过将数据在其隐藏空间内进行聚类学习特定任务的信息，并且这个聚类过程在学习过程中动态演化，从而帮助模型处理未知的实例。

    Feb, 2024

  • 位置编码学到了什么？一项关于预训练语言模型位置编码的实证研究

    本文通过特征级别分析和大量实证研究主流预训练位置嵌入对 Transformer 的影响，从而为特定任务选择适当的位置编码函数提供新的见解。

    Oct, 2020

  • 深度转换器语言建模

    本文研究了基于深度自回归 Transformer 模型在语言建模和语音识别中的应用，探索了配置 Transformer 模型进行语言建模的方法和深度 Transformer 语言模型是否需要位置编码，证明了深度 Transformer 语言模型可以自动利用序列中的位置信息，并能在语音识别模型中得到应用。

    May, 2019

  • LLM 长文本语境失误的洞见：当转换器知道但不透露

    大型语言模型（LLM）存在位置偏差，难以利用长篇上下文中间或结尾的信息。我们的研究通过探测其隐藏表示来探究 LLMs 的长篇上下文推理能力。我们发现，虽然 LLMs 编码目标信息的位置，但在生成准确回答时往往未能充分利用这一特性。这揭示了信息检索和利用之间的不一致，形成了一种 “知道但不说” 的现象。我们进一步分析了提取时间与最终准确性之间的关系，从而揭示了 Transformer 模型的基本机制。

    Jun, 2024

  • 重新思考语言预训练中的位置编码

    提出一种新的位置编码方法 TUPE，该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算，并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中，我们证明了该方法的有效性。

    Jun, 2020