AAAIMar, 2022

活跃的代币混合器

PDF
TL;DR本文提出 ATMNet 模型，以 Active Token Mixer 为基础操作符，通过主动预测有用上下文的位置，并学习如何在通道级别上将这些上下文与 query token 融合，从而扩展了 token-mixing 的空间范围，提高了模型的有效性和可扩展性，实验证明 ATMNet 在各种视觉任务中均优于现有的 CNNs，Transformers 和 MLPs 等传统模型。
cnnstransformersmlpstoken-mixingatmnet
发现论文，激发创造
  • ATOM: 高效数据集提炼的关注力混合器

    利用 ATtentiOn Mixer (ATOM) 模块在特征匹配过程中使用混合的通道和空间注意力，以有效地精炼大型数据集，从而在各种计算机视觉数据集中展现出卓越的性能。

    May, 2024

  • TransXNet: 通过双动态令牌混合器学习全局和局部动态以进行视觉识别

    提出了一种轻量级的 Dual Dynamic Token Mixer (D-Mixer) 来聚合全局信息和局部细节，通过在特征分段上分别应用高效的全局注意力模块和输入相关的深度可分离卷积，为网络赋予了强大的归纳偏差和扩大的有效感受野。使用 D-Mixer 作为基本构建块设计了 TransXNet，这是一个新颖的混合 CNN-Transformer 视觉主干网络，在 ImageNet-1K 图像分类任务中，TransXNet-T 在 top-1 准确率方面超过了 Swin-T 0.3％，同时仅需要不到一半的计算成本，此外，TransXNet-S 和 TransXNet-B 在合理的计算成本下表现出色，分别达到 83.8％和 84.6％的 top-1 准确率。此外，提议的网络架构在各种密集预测任务中表现出强大的泛化能力，优于其他最先进网络，同时计算成本较低。

    Oct, 2023

  • Mixer 不仅仅是一个模型

    这篇研究论文介绍了一种名为 ASM-RH 的新型模型，它结合了时间和频率域的特点，特别适用于音频数据，并在多个分类任务中取得了有希望的成果。

    Feb, 2024

  • HyperMixer：基于 MLP 的绿色 AI 替代 Transformer

    本文提出 HyperMixer 模型，通过使用超网络动态形成令牌混合 MLP 实现自然语言理解，相比于现有的 MLP-based 模型和 Transformer，在处理时间、训练数据和超参数调整方面具有更低的成本，并在实证中表现更好。

    Mar, 2022

  • PoNet: 长序列中高效的令牌混合池化网络

    本文提出了一种新的 Pooling Network (PoNet)，它使用线性复杂度的 token mixing 处理长序列，通过多粒度池化和池化融合来捕获不同级别的上下文信息，并结合 tokens 进行交互来提高模型性能。在长范围竞技基准测试中，PoNet 显著优于 Transformer，同时实现与最快模型 FNet 相当的准确性，在 GPU 上度量所有序列长度时仅比最快模型慢一点。同时文章也进行了系统的研究，证明了 PoNet 设计的多粒度池化和池化融合的加强长序列的 token 混合以及设计的预训练任务可用于学习可转移的上下文化语言表示的有效性。

    Oct, 2021

  • MambaMixer: 高效选择性状态空间模型与双令牌和通道选择

    MambaMixer 是一种基于 State Space Models 的新型架构，通过数据依赖的权重使用选择性令牌和通道混合的方法，提供有效的长序列建模，在各种视觉和时间序列预测任务中展现出竞争性性能和显著改进的计算成本。

    Mar, 2024

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • RIFormer：在不使用 Token Mixer 功能的同时保持视觉骨干网络的有效性

    本文研究如何在去除基本构建模块中的令牌混合器的同时保持视觉骨干的有效性，并提出了一个可行的优化策略，使得我们能够构建一种极其简单的视觉骨干，具有鼓舞人心的性能，同时在推理过程中享受高效性。

    Apr, 2023

  • SPANet：频率平衡的标记混合器，使用谱池聚合调制

    使用自我关注机制、低通滤波器、基于卷积的模型、频谱分析和令牌混合技术来提高计算机视觉任务模型性能。

    Aug, 2023

  • TokenMix: 重塑图像混合 在视觉 Transformer 中的数据增强

    本文提出了一种名为 TokenMix 的数据增强技术，它在令牌级别上混合两个图像，通过将混合区域分区成多个独立的部分来实现，其适用于更好地训练视觉变换器，同时根据预训练的 teacher 模型的内容基础神经激活映射分配目标分数，增强了其稳健性和性能。

    Jul, 2022