本文提出 HyperMixer 模型，通过使用超网络动态形成令牌混合 MLP 实现自然语言理解，相比于现有的 MLP-based 模型和 Transformer，在处理时间、训练数据和超参数调整方面具有更低的成本，并在实证中表现更好。

Mar, 2022

本文提出了一个称为 Dyn Mixer 的高效 MLP-like 深度学习网络结构，用于动态信息融合，并且通过一个过程生成融合矩阵，以应对 tokens 的内容，并通过采用降维技术和多段融合机制来减少时间复杂度和提高鲁棒性。Dyn Mixer 模型不需要额外的训练数据，在 ImageNet-1K 数据集上达到了 84.3％的准确率，参数数量减少到 26M 时，仍然获得 82.7％的 top-1 准确率，胜过类似容量的现有 MLP-like 模型。

Jan, 2022

本文研究线性模型在时间序列预测中的能力，提出了一个基于多层感知机的模型 TSMixer，通过在时间和特征维度上的混合操作提取信息。TSMixer 在常见的学术基准测试中表现出和专业模型类似的性能，在真实世界的 M5 基准测试数据集上表现出比先进模型更好的性能。本文的结果强调了有效利用交叉变量和辅助信息以提高时间序列预测性能的重要性，并且预计 TSMixer 的设计范例会为基于深度学习的时间序列预测开启新的视野。

Mar, 2023

通过将 Krotov 的分层关联记忆与 MetaFormers 相结合，该论文提出了一种新的视角，将整个 Transformer 块的完整表示，包括标记 -/ 通道混合模块、层归一化和跳跃连接，作为一个单一的 Hopfield 网络。该方法产生了一个并行化的从三层 Hopfield 网络推导出的 MLP-Mixer，自然地融合了对称的标记 -/ 通道混合模块和层归一化。实证研究揭示了模型中的对称交互矩阵阻碍了图像识别任务的性能。引入破坏对称效果将对称并行化的 MLP-Mixer 的性能过渡到普通 MLP-Mixer 的性能。这表明在标准训练过程中，普通 MLP-Mixer 的权重矩阵自发地获得对称破缺配置，增强了其有效性。这些发现为 Transformer 和 MLP-Mixer 的内在特性及其理论基础提供了见解，为未来模型设计和优化提供了一个稳健的框架。

Jun, 2024

TSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。

Jun, 2023

本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

May, 2021

提出了一种通过跨尺度的本地和全局聚合学习动态低秩变换以实现空间通道混合的分层视觉 MLP（Vision MLP）方法，该方法在流行的图像识别基准测试中取得了有竞争力的结果。

Aug, 2023

SplitMixer 是一个简单且轻量级的 MLP-like 架构，包含用于混合空间位置和通道信息的两种交替卷积操作，理论和实验证明它在准确性，参数数量和速度方面都表现出色。

Jul, 2022

本文研究了一种基于 Hopfield 网络的新型神经网络模型 iMixer，对多个图像分类数据集的实验结果显示其表现优于传统 MLP-Mixer 模型，揭示了 Hopfield 网络与 Mixers 之间的关联可作为 Transformer 类型架构设计的原理。

Apr, 2023

研究了多个神经架构之间的相似性和差异性，通过对耦合流与蝴蝶变换的研究，提出了非线性蝴蝶混合器，包括 Butterfly MLP 和 Butterfly Attention，证明了它们在处理不同维度的输入上的高效性和可扩展性。

Nov, 2023