May, 2023

Transformer 工作记忆促进正则语言推理和自然语言长度外推

PDF
TL;DRRegularGPT 是一种新型 Transformer 变体，通过 Weight-Sharing、Adaptive-Depth 和 Sliding-Dilated-Attention 实现基于深度的工作记忆，并成功地对 PARITY 等正则语言进行建模，并在自然语言长度外推任务中表现出了出乎意料的效果，重新发现了以前工作中视为长度外推必要的局部窗口化注意机制。
transformersregulargptweight-sharingadaptive-depthsliding-dilated-attention
发现论文，激发创造
  • 扩展心智转换器

    预训练语言模型在推理时过长的输入会迅速成为记忆信息的瓶颈。本文提出了一种简单的方法，使用记忆转换器给模型提供预先计算的记忆库，通过批判性评估定位编码应如何更新以检索关键信息，而非使用外部嵌入。我们展示了在大多数解码器层中检索外部信息的重要性，并公开了一个新的反事实长距离检索基准。实验证明，扩展心智转换器在平均性能上超过了当今的最先进水平。

    Jun, 2024

  • 用于长上下文大模型的分块并行 Transformer

    Blockwise Parallel Transformer (BPT) is a distinct approach to address memory demands posed by the self-attention mechanism and the large feedforward network in Transformers, which enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods, and improves performance in language modeling and reinforcement learning tasks.

    May, 2023

  • 解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

    通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

    May, 2023

  • TimelyGPT: 长时序表示的循环卷积变换器

    该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

    Nov, 2023

  • 自适应半参数语言模型

    该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

    Feb, 2021

  • 工作记忆图

    本研究旨在研究如何使用基于 Transformer 的模型来提高序列决策智能体的性能，并提出了 Working Memory Graph（WMG）代理程序，评估其在三种环境中的作用，并发现基于观测空间的因数组合 WMG 的 Transformer-based 架构可以显著提高其在 RL 环境中的样本使用效率。

    Nov, 2019

  • 掌握 Transformer：隐含的推理者 —— 通向泛化极限的机械之旅

    我们研究 transformers 模型是否能够学会隐性地进行参数化知识推理，发现它们能够通过全面且超过过拟合的训练学会隐性推理，但在不同推理类型上的推广程度存在差异：在面对分布之外的例子时，transformers 在组合推理上无法进行系统化推广但在比较推理上能够成功。通过训练期间对模型内部进行分析实验，我们发现了隐性推理的机制，如泛化电路的形成以及它与泛化和记忆电路相对效率的关系，还发现了系统性与泛化电路配置之间的关系。我们的研究结果指导着数据和训练设置，以更好地实现隐性推理，并提出了改进 transformer 架构的潜在方法，如鼓励跨层面的知识共享。此外，我们证明对于具有大型搜索空间的具有挑战性的推理任务，基于非参数化记忆的 GPT-4-Turbo 和 Gemini-1.5-Pro 无论在提示样式还是检索增强方面都表现糟糕，而完全掌握隐性推理的 transformers 模型能够实现近乎完美的准确性，展示了参数化记忆在复杂推理中的威力。

    May, 2024

  • 朝着更小、更快的只解码 Transformer：架构变体及其影响

    本研究引入了三种变体（ParallelGPT、LinearlyCompressedGPT 和 ConvCompressedGPT）来修改解码器专用的 Transformer 架构，这些变体在代码生成任务中取得了可比较的性能，同时具有模型尺寸较小和训练时间更快的优势。

    Apr, 2024

  • Transformer 模型可以实现长度概括，但不具备鲁棒性

    使用适当的数据格式和位置编码的组合，本研究首次展示了标准 Transformers 在能够外推到输入长度 2.5 倍的序列长度方面的成功，然而与内分布泛化不同，长度泛化仍然是脆弱的，受到随机权重初始化和训练数据顺序等因素的显著影响，导致不同随机种子之间存在较大差异。

    Feb, 2024

  • 线性循环神经网络中推进常规语言推理

    最近的研究表明，在自然语言建模和长期建模方面，线性递归神经网络（LRNN）取得了与 Transformer 相媲美的性能，同时提供了快速的并行训练和恒定的推断成本。通过研究 LRNN 的潜在规则学习能力，我们在理论上分析了一些现有的 LRNN，并发现它们在正则语言上存在一些限制。在分析的基础上，我们提出了一种新的 LRNN 模型，它配备了一个块对角线和输入相关的转移矩阵。实验证明，所提出的模型是唯一能够在正则语言任务（如求和、偶数对和模运算）中进行长度外推的 LRNN 模型。

    Sep, 2023