May, 2021

MLP-Mixer: 一种用于视觉的全 MLP 架构

PDF
TL;DR本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。
convolutional neural networkscnnsvision transformermulti-layer perceptronsmlp-mixer
发现论文，激发创造
  • MDMLP: 使用 MLP 在小数据集上从零开始进行图像分类

    本文研究了注意力机制对于自然语言处理和图像识别任务的应用。通过提出一种轻量级的基于 MLP 的多维 MLP 结构，并采用新型的 MLP 注意力工具，我们实现了在小数据集上的从头训练的 SOTA 结果，同时具备出色的解释能力。

    May, 2022

  • X-MLP: 一个无需 Patch 嵌入的 MLP 视觉架构

    提出一种基于全连接层的 MLP 体系结构 X-MLP，比现有的 MLP 模型和 CNNs 略表现更好，在多个基准数据集上进行了测试，具有捕捉长距离依赖性的特点。

    Jul, 2023

  • 补丁是你所需的全部？

    本文介绍 ConvMixer 模型，它使用标准卷积来混合图像块，并在类似参数计数和数据集大小的情况下胜过 ViT、MLP-Mixer 和一些变种，同时也优于经典的 ResNet 等视觉模型。

    Jan, 2022

  • 基于 MLP-Mixer 神经网络的多视角多标签异常网络流分类

    本文提出了一种基于 MLP-Mixer 的多视图多标签神经网络用于网络流量分类，将报文分为报文头和报文体，并从不同的视图输入报文的流特征，通过利用不同场景之间的相关性来改善分类性能，在三个公共数据集上进行了实验，结果表明我们的方法可以取得更好的性能。

    Oct, 2022

  • Vision Transformer 和 MLP-Mixer 在对抗鲁棒性方面与 CNN 的比较

    本文比较了卷积神经网络 (CNN)、Vision Transformer (ViT) 和 MLP-Mixer 的抗对抗攻击性能，并发现新提出的网络结构 ViT 和 MLP-Mixer 比 CNN 更加鲁棒，其中频率分析表明，最具鲁棒性的 ViT 架构倾向于依赖于低频特征，而 MLP-Mixer 则极易受到普适性对抗扰动的影响。

    Oct, 2021

  • S$^2$-MLP: 视觉任务空间平移 MLP 架构

    本文提出一种新颖的 MLP 架构，空间平移 MLP (S$^2$-MLP)，只包含通道混合 MLP，利用局部接收场进行补丁之间的通信，其参数自由且计算效率高，比 MLP-Mixer 在 ImageNet-1K 数据集上获得更高的识别精度，同时具有与 ViT 相当的性能且更简单的架构。

    Jun, 2021

  • ConvMLP: 视觉 Hierarchical Convolutional MLPs

    提出了层次化的卷积 MLP，称其为 ConvMLP，可用于视觉识别、物体检测和语义分割等任务，与 MLP-Mixer-B/16 相比，ConvMLP-S 使用了更少的参数，且在 ImageNet-1k 数据集上具有较高的准确性。

    Sep, 2021

  • DynaMixer：一种具有动态混合的视觉 MLP 架构

    本文提出了一个称为 Dyn Mixer 的高效 MLP-like 深度学习网络结构，用于动态信息融合，并且通过一个过程生成融合矩阵，以应对 tokens 的内容，并通过采用降维技术和多段融合机制来减少时间复杂度和提高鲁棒性。Dyn Mixer 模型不需要额外的训练数据，在 ImageNet-1K 数据集上达到了 84.3％的准确率，参数数量减少到 26M 时，仍然获得 82.7％的 top-1 准确率，胜过类似容量的现有 MLP-like 模型。

    Jan, 2022

  • 网络结构之战：CNN、Transformer 和 MLP 的实证研究

    本文比较了卷积神经网络、Transformer、multi-layer perceptron 等算法的优劣，并在 SPACH 框架下进行了实验，结果显示，使用卷积和 Transformer 模块的混合模型已经能够实现与其他模型相同的准确率。

    Aug, 2021

  • MLP-3D：一种带有分组时间混合的类 MLP 3D 架构

    本文使用 MLP-3D 网络结构实现了基于 token-mixing MLP 和 time mixing 的时序模型，并通过多种不同的 grouping 策略对 GTM 进行了改进，在不使用卷积或 self-attention 机制的情况下，在 Something-Something V2 和 Kinetics-400 数据集上分别实现了 68.5％/ 81.4％的 top-1 准确率，性能与 3D CNNs 和 video transformers 不相上下。

    Jun, 2022