ICMLJun, 2024

一个优秀的复制能力的全 MLP 序列建模架构

PDF
TL;DRCausal Relation Network (CausalRN) is an MLP sequence modeling architecture that can match Transformers on the copying task, employing key innovations such as exponentially-activated RNs, pre-activation normalization, and providing insights into strong in-context retrieval.
发现论文，激发创造
  • 序列模型互信息缩放与表达能力

    本文研究循环神经网络和自注意力网络的互信息，发现它们的互信息随时间距离呈指数衰减，而 Transformer 网络能更有效地捕捉长程联系，适用于建模具有慢冻结互信息的序列，如自然语言和股票价格。

    May, 2019

  • 面向百万级依赖建模的长序列模型的统一视图

    本文探讨了 Transformers 在长序列建模中的应用，并提出了一种处理百万级依赖关系的机器学习系统，其中的分布式多头注意力机制可提高 40 倍的计算效率。

    Feb, 2023

  • 重复之我见：变压器优于状态空间模型的复制

    在这篇论文中，我们研究了使用不依赖于序列长度的固定大小的潜在状态的模型（我们将其称为 “广义状态空间模型”（GSSMs））与 transformer 模型在需要从输入上下文中进行复制的任务上的性能差异。我们从对简单的字符串复制任务的理论分析开始，并证明了一个二层 transformer 可以复制指数长度的字符串，而 GSSMs 因为固定大小的潜在状态而受到限制。在实证研究中，我们发现 transformers 在需要复制上下文的合成任务上效果优于 GSSMs，无论是在效率还是在泛化方面。最后，我们评估了预训练的大型语言模型，并发现 transformer 模型在复制和检索上下文信息的任务上远远胜过状态空间模型。综合这些结果表明，在实际任务中，transformers 与 GSSMs 之间存在着根本的差距。

    Feb, 2024

  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 顺序复制网络

    本文提出了一种新的复制框架 SeqCopyNet，它不仅能够复制单个单词，还能够从输入句子中复制序列，实验证明 SeqCopyNet 在句子摘要和问题生成方面表现出色。

    Jul, 2018

  • RWKV：为 Transformer 时代重新设计 RNN

    本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transformer，也可以被阐释为 RNN，从而在训练期间并行计算，并在推理期间保持计算和记忆的复杂度恒定，从而成为第一个可扩展到数十亿参数的非 Transformer 架构，实验表明，RWKV 的表现与同样大小的 Transformer 相当，在序列处理任务中为权衡计算效率和模型性能迈出了重要的一步。

    May, 2023

  • 基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

    该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。

    Oct, 2022

  • 门控循环神经网络发现注意力

    近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

    Sep, 2023

  • R-Transformer：加强循环神经网络的 Transformer 模型

    本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

    Jul, 2019

  • 通用变压器

    Universal Transformer 是一种并行自我关注循环序列模型，它将前馈序列模型（例如 Transformer）的并行性和全局感受野与递归的归纳偏差相结合，解决了在某些简单任务中标准 Transformer 失败的问题，并取得诸多算法和语言理解任务上优越的表现。

    Jul, 2018