ICLROct, 2021

PoNet: 长序列中高效的令牌混合池化网络

PDF
TL;DR本文提出了一种新的 Pooling Network (PoNet)，它使用线性复杂度的 token mixing 处理长序列，通过多粒度池化和池化融合来捕获不同级别的上下文信息，并结合 tokens 进行交互来提高模型性能。在长范围竞技基准测试中，PoNet 显著优于 Transformer，同时实现与最快模型 FNet 相当的准确性，在 GPU 上度量所有序列长度时仅比最快模型慢一点。同时文章也进行了系统的研究，证明了 PoNet 设计的多粒度池化和池化融合的加强长序列的 token 混合以及设计的预训练任务可用于学习可转移的上下文化语言表示的有效性。
transformerself-attention mechanismlong sequencespooling networktoken mixing
发现论文，激发创造
  • LongNet: 将 Transformer 扩展到 10 亿个标记

    LongNet 是 Transformer 的一种变体，引入了扩张注意力（dilated attention）来扩展序列长度，使其能够处理超过 10 亿个标记的序列，同时不会牺牲短序列的性能表现。

    Jul, 2023

  • 视觉 Transformer 中的 Token 池化

    该研究提出了一种称作 Token Pooling 的新型令牌下采样方法，旨在提高对视觉变换的计算速度，并通过对 softmax 注意力机制的研究，实现了更好的计算速度与精度之间的平衡。

    Oct, 2021

  • FNet: 用 Fourier 变换混合 token

    通过使用线性混合器代替自注意层，与标准的非线性前馈层一起能够在几个文本分类任务中模拟语义关系。用标准、非参数特定的傅里叶变化替换 Transformer 编码器中的自注意子层在 GLUE 基准测试上取得了 92-97% 的 BERT 模型的准确性，同时在标准 512 输入长度的 GPU 上训练速度提高了 80%，在 TPU 上提高了 70%。在更长的输入长度上，FNet 模型速度极快，在长序列基准测试中，FNet 模型能够匹配最精确模型的准确性，提供更快的模型训练速度。此外，FNet 的内存占用相对较小，在较小的模型尺寸下运行的性能优于 Transformer 模型。

    May, 2021

  • 自适应上下文池化的高效表征学习

    该研究提出了 ContextPool，一种自适应的注意力机制，用于增强在 transformer 模型中的自注意力机制，实现了更强的性能表现（在语言和图像基准测试中），达到了最新的研究结论，并适用于卷积神经网络进行高效的特征学习。

    Jul, 2022

  • 面向百万级依赖建模的长序列模型的统一视图

    本文探讨了 Transformers 在长序列建模中的应用，并提出了一种处理百万级依赖关系的机器学习系统，其中的分布式多头注意力机制可提高 40 倍的计算效率。

    Feb, 2023

  • 带有动态 Token 池化的高效 Transformer

    通过动态 Pooling 和自回归机制，使得 Transformer 模型在其计算资源内的表现更快更准确。

    Nov, 2022

  • Poolingformer: 带池化注意力的长文档建模

    本文介绍了一种二级注意力模式，Poolingformer，用于长文档建模，其第一级使用较小的滑动窗口模式来聚合周围信息，第二级使用更大的窗口来增加接受场并使用池化注意力来减少计算成本和内存消耗。实验结果表明，Poolingformer 在三个基准测试中领先于现有的最先进模型，在长序列 QA 任务和长序列摘要任务上表现出优异性能。

    May, 2021

  • 可训练表示池化技术稀疏化 Transformer 模型

    我们提出了一种新方法，通过学习在训练过程中选择最具信息量的令牌表示方法来稀疏 Transformer 模型中的注意力，从而关注输入的特定部分。由于一个强大的可训练的 top-k 操作符，将二次时间和内存复杂度降低到亚线性水平。我们在一个具有挑战性的长文档摘要任务上的实验表明，即使是我们的简单基线表现也与当前的 SOTA 相当，通过可训练的池化技术，我们可以保持其最高质量，在训练过程中快 1.8 倍，推理时快 4.5 倍，并且在解码器中计算效率高达 13 倍。

    Sep, 2020

  • 利用全局注意力表示图神经网络的长距离上下文

    本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

    Jan, 2022

  • SPANet：频率平衡的标记混合器，使用谱池聚合调制

    使用自我关注机制、低通滤波器、基于卷积的模型、频谱分析和令牌混合技术来提高计算机视觉任务模型性能。

    Aug, 2023