本文介绍了一种基于 MLP 的序列推荐架构 TriMLP，采用了新颖的 Triangular Mixer 来使得模型能够有序交互，同时也采用了双分支结构以分别捕获长期和短期预测上的信息。该模型在多个数据集上超过了多个现有 baseline，取得了很好的效果和稳定性。

May, 2023

提出了一种新型的、自适应的持续推荐系统 AutoMLP，旨在更好地对用户的长期和短期兴趣进行建模，通过端到端优化进行自动化和自适应搜索算法，与最先进的方法具有相当竞争性的性能，同时保持线性计算复杂度。

Mar, 2023

本文介绍了一种名为 MOJITO 的改进型 Transformer 序列推荐系统，它使用基于注意力机制的时间上下文和物品嵌入表示的高斯混合来进行序列建模。实验证明，该方法在多个现实世界数据集上优于现有的 Transformer 序列推荐方法。

Apr, 2023

提出了一种记忆增强图神经网络 (MA-GNN)，用于解决顺序推荐系统中的挑战，包括建模短期和长期用户兴趣、有效建模项目共现模式等，模型在五个真实数据集上得到了验证并进行了比较。

Dec, 2019

本文研究了一种基于 Hopfield 网络的新型神经网络模型 iMixer，对多个图像分类数据集的实验结果显示其表现优于传统 MLP-Mixer 模型，揭示了 Hopfield 网络与 Mixers 之间的关联可作为 Transformer 类型架构设计的原理。

Apr, 2023

设计了一种多行为超图增强 Transformer 框架（MBHT），用于捕获基于多个交互类型的短期和长期行为依赖关系，该框架通过低秩自注意力和超图神经网络结构实现。

Jul, 2022

基于多层感知器 (MLP) 的异构顺序推荐方法 (BMLP) 通过建模多种行为类型和转换关系的异构兴趣知觉模块 (HIP) 以及自适应融合辅助行为子序列以捕捉用户购买意图的购买意图知觉模块 (PIP)，相比主要的序列模型，在准确性方面具有竞争优势并具有简单和高效的独特优势，广泛实验表明 BMLP 在四个公共数据集上显著改进了现有算法，而其纯 MLP 架构导致线性时间复杂度。

Feb, 2024

通过将 Krotov 的分层关联记忆与 MetaFormers 相结合，该论文提出了一种新的视角，将整个 Transformer 块的完整表示，包括标记 -/ 通道混合模块、层归一化和跳跃连接，作为一个单一的 Hopfield 网络。该方法产生了一个并行化的从三层 Hopfield 网络推导出的 MLP-Mixer，自然地融合了对称的标记 -/ 通道混合模块和层归一化。实证研究揭示了模型中的对称交互矩阵阻碍了图像识别任务的性能。引入破坏对称效果将对称并行化的 MLP-Mixer 的性能过渡到普通 MLP-Mixer 的性能。这表明在标准训练过程中，普通 MLP-Mixer 的权重矩阵自发地获得对称破缺配置，增强了其有效性。这些发现为 Transformer 和 MLP-Mixer 的内在特性及其理论基础提供了见解，为未来模型设计和优化提供了一个稳健的框架。

Jun, 2024

本文提出 HyperMixer 模型，通过使用超网络动态形成令牌混合 MLP 实现自然语言理解，相比于现有的 MLP-based 模型和 Transformer，在处理时间、训练数据和超参数调整方面具有更低的成本，并在实证中表现更好。

Mar, 2022

TSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。

Jun, 2023