AAAIApr, 2020

用于长序列快速处理的残差混洗网络

PDF
TL;DR本文提出了一种简单、轻量级的 Shuffle-Exchange 网络变体，它是基于残差网络，采用 GELU 和 Layer Normalization，可以扩展到更长的序列，收敛更快并提供更好的准确性。通过在 MusicNet 数据集上进行音乐转录并在 LAMBADA 语言建模任务上超越原有 Shuffle-Exchange 网络，我们展示了如何将改进的 Shuffle-Exchange 网络与卷积层相结合，以建立长序列处理应用中的有用基本单元。
neural shuffle-exchange networklong-range dependenciesgating mechanismresidual networksequence processing
发现论文，激发创造
  • 一种用于序列建模的轻量级循环网络

    本文介绍了一种称为 LRN 的轻量级循环神经网络，它使用输入和遗忘门来处理长时间的依赖性以及梯度消失和爆炸，并且可以作为替代现有循环单元的可落地的解决方案，该方法将计算量从循环中转移至外部，并与自我注意力网络紧密连接。通过六项自然语言处理任务的广泛实验证明，使用 LRN 能够获得最高的运行效率，而且模型性能几乎没有损失。

    May, 2019

  • SA-Net: 深度卷积神经网络的 Shuffle Attention

    该论文提出了一种名为 Shuffle Attention（SA）的机制，通过使用 Shuffle Unit 来同时描述空间和通道维度中的特征依赖关系，以有效地结合两种注意力机制。实验结果表明，该机制比当前 SOTA 方法具有更高的准确性，同时具有更低的模型复杂度。

    Jan, 2021

  • PoNet: 长序列中高效的令牌混合池化网络

    本文提出了一种新的 Pooling Network (PoNet)，它使用线性复杂度的 token mixing 处理长序列，通过多粒度池化和池化融合来捕获不同级别的上下文信息，并结合 tokens 进行交互来提高模型性能。在长范围竞技基准测试中，PoNet 显著优于 Transformer，同时实现与最快模型 FNet 相当的准确性，在 GPU 上度量所有序列长度时仅比最快模型慢一点。同时文章也进行了系统的研究，证明了 PoNet 设计的多粒度池化和池化融合的加强长序列的 token 混合以及设计的预训练任务可用于学习可转移的上下文化语言表示的有效性。

    Oct, 2021

  • BurstAttention: 极长序列的高效分布式注意力框架

    我们提出了一种名为 “BurstAttention” 的分布式注意力框架，通过在全局集群和本地设备级别上优化内存访问和通信操作，相比于竞争的基准线，在处理长序列时减少 40% 的通信开销，训练 32K 序列长度时实现 2 倍加速。

    Mar, 2024

  • 用于机器阅读的长短期记忆网络

    论文提出了一种基于记忆网络和神经关注机制的机器阅读模拟器，能够更好地处理结构化输入，并结合编码器 - 解码器体系结构，取得了很好效果。

    Jan, 2016

  • 短 - 长卷积有助于高效硬件线性注意力集中于长序列

    通过采用分层和分块思想，我们提出了 CHELA（硬件高效的短长卷积与线性注意力）来解决线性注意力在因果设置下仅保持在理论层面的问题，同时通过替换状态空间模型（SSMs）为短长卷积，实现了稳定的 SSMs，保持真正的线性复杂度。通过对 Long Range Arena 基准和语言建模任务的综合实验，我们证明了所提方法的有效性。

    Jun, 2024

  • 基于时间卷积关注的序列模型网络

    我们提出了一种基于时间卷积网络和注意力机制的探索性架构称为 TCAN，它不仅能够实现递归网络的近似替代，还可以吸收前向模型的优势，提高了 word-level PTB、character-level PTB 和 WikiText-2 等文本数据集的 bpc/perplexity 表现.

    Feb, 2020

  • R-Transformer：加强循环神经网络的 Transformer 模型

    本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

    Jul, 2019

  • LongNet: 将 Transformer 扩展到 10 亿个标记

    LongNet 是 Transformer 的一种变体，引入了扩张注意力（dilated attention）来扩展序列长度，使其能够处理超过 10 亿个标记的序列，同时不会牺牲短序列的性能表现。

    Jul, 2023

  • 具有注意力机制的前馈网络可以解决一些长期记忆问题

    我们提出了一种适用于前馈神经网络的简化注意力模型，并证明其可解决比这些任务的最佳出版结果更长和更广泛变化的序列长度的综合 “加法” 和 “乘法” 长期记忆问题。

    Dec, 2015