序列推荐中 MLP 的复仇

May, 2023

Revenge of MLP in Sequential Recommendation

Yiheng Jiang, Yuanbo Xu

TL;DR本文介绍了一种基于 MLP 的序列推荐架构 TriMLP，采用了新颖的 Triangular Mixer 来使得模型能够有序交互，同时也采用了双分支结构以分别捕获长期和短期预测上的信息。该模型在多个数据集上超过了多个现有 baseline，取得了很好的效果和稳定性。

Abstract

sequential recommendation models sequences of historical user-item interactive behaviors (or referred as token) to better infer dynamic preferences. Fueled by the improved neural network architectures such as RNN

sequential recommendation neural network architectures mlp-based architecture triangular mixer long and short-term preferences

发现论文，激发创造

MOI-Mixer: 在序列推荐中通过多阶交互改进 MLP-Mixer

本篇论文提出了一种新的模型 ——Multi-Order Interaction (MOI) layer，该模型利用 MLP 层的低计算复杂度和 MOI 层的高阶交互表达能力，在保持较低计算复杂度的同时，在序列推荐任务中实现了与基于 Transformer 的模型相当的性能。

Aug, 2021

AutoMLP：面向序列推荐的自动 MLP

提出了一种新型的、自适应的持续推荐系统 AutoMLP，旨在更好地对用户的长期和短期兴趣进行建模，通过端到端优化进行自动化和自适应搜索算法，与最先进的方法具有相当竞争性的性能，同时保持线性计算复杂度。

Mar, 2023

用于序列推荐的滤波增强型 MLP

在序列推荐任务中，使用深度神经网络（包括 RNN、CNN 和 Transformer）去捕获用户行为数据中的动态偏好特征以实现精准的推荐。由于用户行为数据中存在噪声，因此本研究将信号处理中的滤波算法应用于序列推荐任务中，实验表明使用可学习滤波器的全 MLP 架构 (FMLP-Rec) 可以显著提高推荐性能，尤其是优于 Transformer。

Feb, 2022

BMLP：面向异构序列推荐的行为感知多层感知机

基于多层感知器 (MLP) 的异构顺序推荐方法 (BMLP) 通过建模多种行为类型和转换关系的异构兴趣知觉模块 (HIP) 以及自适应融合辅助行为子序列以捕捉用户购买意图的购买意图知觉模块 (PIP)，相比主要的序列模型，在准确性方面具有竞争优势并具有简单和高效的独特优势，广泛实验表明 BMLP 在四个公共数据集上显著改进了现有算法，而其纯 MLP 架构导致线性时间复杂度。

Feb, 2024

MLP-3D：一种带有分组时间混合的类 MLP 3D 架构

本文使用 MLP-3D 网络结构实现了基于 token-mixing MLP 和 time mixing 的时序模型，并通过多种不同的 grouping 策略对 GTM 进行了改进，在不使用卷积或 self-attention 机制的情况下，在 Something-Something V2 和 Kinetics-400 数据集上分别实现了 68.5％/ 81.4％的 top-1 准确率，性能与 3D CNNs 和 video transformers 不相上下。

Jun, 2022

面向长时间依赖用户序列的神经混合推荐器

本文研究了如何建立一个模型，利用不同的时间范围和动态来适应不同的请求上下文，并提出了一种神经多时间范围混合模型 (M3)，以处理用户行为短期和长期依赖问题。该方法通过使用不同时间范围的模型组合，并针对不同的上下文信息学习门控机制来增强效果。该方法在公共数据集和 YouTube 数据集上的实证评估中要优于现有的顺序推荐方法。

Feb, 2019

用于序列推荐的多行为超图增强变压器

设计了一种多行为超图增强 Transformer 框架（MBHT），用于捕获基于多个交互类型的短期和长期行为依赖关系，该框架通过低秩自注意力和超图神经网络结构实现。

Jul, 2022

分层联想记忆、并行化 MLP-Mixer 和对称性破坏

通过将 Krotov 的分层关联记忆与 MetaFormers 相结合，该论文提出了一种新的视角，将整个 Transformer 块的完整表示，包括标记 -/ 通道混合模块、层归一化和跳跃连接，作为一个单一的 Hopfield 网络。该方法产生了一个并行化的从三层 Hopfield 网络推导出的 MLP-Mixer，自然地融合了对称的标记 -/ 通道混合模块和层归一化。实证研究揭示了模型中的对称交互矩阵阻碍了图像识别任务的性能。引入破坏对称效果将对称并行化的 MLP-Mixer 的性能过渡到普通 MLP-Mixer 的性能。这表明在标准训练过程中，普通 MLP-Mixer 的权重矩阵自发地获得对称破缺配置，增强了其有效性。这些发现为 Transformer 和 MLP-Mixer 的内在特性及其理论基础提供了见解，为未来模型设计和优化提供了一个稳健的框架。

Jun, 2024

时间图变换器的多行为序列推荐

本文提出采用多行为互动模式进行时间变化的用户偏好建模，通过提出的 Temporal Graph Transformer 模型，能够更好地学习不同行为间的相关性，有效解决单一行为矩阵稀疏和数据不足等问题。

Jun, 2022

关注力混合模型的时间感知序列推荐

本文介绍了一种名为 MOJITO 的改进型 Transformer 序列推荐系统，它使用基于注意力机制的时间上下文和物品嵌入表示的高斯混合来进行序列建模。实验证明，该方法在多个现实世界数据集上优于现有的 Transformer 序列推荐方法。

Apr, 2023