本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

May, 2021

提出一种基于全连接层的 MLP 体系结构 X-MLP，比现有的 MLP 模型和 CNNs 略表现更好，在多个基准数据集上进行了测试，具有捕捉长距离依赖性的特点。

Jul, 2023

本文比较了卷积神经网络、Transformer、multi-layer perceptron 等算法的优劣，并在 SPACH 框架下进行了实验，结果显示，使用卷积和 Transformer 模块的混合模型已经能够实现与其他模型相同的准确率。

Aug, 2021

通过在全连接层中加入留先验，我们提出了 RepMLP 这个用于图像识别的神经网络模块。我们将卷积层嵌入 RepMLP 中，从而结合了全局表征能力和位置感知能力，并通过在 CNN 中插入 RepMLP 进一步提高了准确性。

May, 2021

Hire-MLP 是一种通过 Hi-erarchical re-arrangement 获得的简单而有竞争力的视觉 MLP 架构，可作为各种视觉任务的灵活骨干，包括图像分类、目标检测和语义分割任务，超过以前的基于 transformer 和 MLP 模型，在精度和吞吐量方面具有更好的折衷。

Aug, 2021

本文介绍了一种基于多轴 MLP 的体系结构 MAXIM，该体系结构可用作图像处理任务的高效和灵活的通用视觉骨干。MAXIM 使用 UNet 形状的分层结构，并支持由空间门控 MLP 启用的长程交互，其在多项基准测试中取得了最先进的性能，并且需要的参数和 FLOP 少于竞争模型。

Jan, 2022

本文使用 MLP-3D 网络结构实现了基于 token-mixing MLP 和 time mixing 的时序模型，并通过多种不同的 grouping 策略对 GTM 进行了改进，在不使用卷积或 self-attention 机制的情况下，在 Something-Something V2 和 Kinetics-400 数据集上分别实现了 68.5％/ 81.4％的 top-1 准确率，性能与 3D CNNs 和 video transformers 不相上下。

Jun, 2022

本文研究了注意力机制对于自然语言处理和图像识别任务的应用。通过提出一种轻量级的基于 MLP 的多维 MLP 结构，并采用新型的 MLP 注意力工具，我们实现了在小数据集上的从头训练的 SOTA 结果，同时具备出色的解释能力。

May, 2022

本文提出了一种名为 Locality Injection 的方法，利用结构重参数化思想将并行卷积核的训练参数合并到全连接层的核中，用于提取特征，同时通过 RepMLP Block 构建的多层感知器网络 RepMLPNet 在 Semantic Segmentation 等下游任务中展现出更佳的准确性和效率。

Dec, 2021

通过引入可学习的卷积、Transformer 和 MLP 操作符的混合结构，并利用上下文感知降采样模块进行特征适应，本文使用强化学习搜索算法在统一搜索空间中进行搜索，达到了在 ImageNet 数据集上取得更高精度和更高效率的目标，相对于 EfficientNet-B7 和 BoTNet-T7 减少了 44％和 55％的 FLOPs，相对于 Swin-L 减少了 51％的 FLOPs 和 41％更少的参数。

Jul, 2022