CVPRJun, 2022

MLP-3D：一种带有分组时间混合的类 MLP 3D 架构

PDF
TL;DR本文使用 MLP-3D 网络结构实现了基于 token-mixing MLP 和 time mixing 的时序模型，并通过多种不同的 grouping 策略对 GTM 进行了改进，在不使用卷积或 self-attention 机制的情况下，在 Something-Something V2 和 Kinetics-400 数据集上分别实现了 68.5％/ 81.4％的 top-1 准确率，性能与 3D CNNs 和 video transformers 不相上下。
发现论文，激发创造
  • GraphMLP：用于 3D 人体姿态估计的类图像多层感知机结构

    提出了一种简单有效的图强化 MLP-Like 架构，名为 GraphMLP，它将 MLP 和图卷积网络（GCN）结合在一起，用于 3D 人体姿态估计，并将人体的图结构融入到 MLP 模型中，允许局部和全局空间相互作用，实现了对视频和单帧中 3D 人体姿态估计的最新性能。

    Jun, 2022

  • MLP-Mixer: 一种用于视觉的全 MLP 架构

    本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

    May, 2021

  • 利用深度学习进行多媒体数据分类的智能 3D 网络协议

    本文中介绍了一种基于 3D 卷积神经网络和 Spatiotemporal fusion 的混合深度学习架构，用于视频分类和动作识别，在研究方面取得了良好的性能，可以识别出 UCF101 数据集中的动作（准确率达到 95%）

    Jul, 2022

  • ConvMLP: 视觉 Hierarchical Convolutional MLPs

    提出了层次化的卷积 MLP，称其为 ConvMLP，可用于视觉识别、物体检测和语义分割等任务，与 MLP-Mixer-B/16 相比，ConvMLP-S 使用了更少的参数，且在 ImageNet-1k 数据集上具有较高的准确性。

    Sep, 2021

  • MorphMLP：一种用于时空表征学习的高效 MLP 骨干网络

    这篇研究提出了一种名为 MorphMLP 的自注意力自由骨干网络架构，它利用简洁的全连接层进行视频表示学习，并在多维度、多尺度因子分解的情况下实现了很好的精度 - 计算平衡，相比最新的最先进模型在视频基准测试中显著降低了计算量，同时获得更好的准确性。

    Nov, 2021

  • DynaMixer：一种具有动态混合的视觉 MLP 架构

    本文提出了一个称为 Dyn Mixer 的高效 MLP-like 深度学习网络结构，用于动态信息融合，并且通过一个过程生成融合矩阵，以应对 tokens 的内容，并通过采用降维技术和多段融合机制来减少时间复杂度和提高鲁棒性。Dyn Mixer 模型不需要额外的训练数据，在 ImageNet-1K 数据集上达到了 84.3％的准确率，参数数量减少到 26M 时，仍然获得 82.7％的 top-1 准确率，胜过类似容量的现有 MLP-like 模型。

    Jan, 2022

  • MDMLP: 使用 MLP 在小数据集上从零开始进行图像分类

    本文研究了注意力机制对于自然语言处理和图像识别任务的应用。通过提出一种轻量级的基于 MLP 的多维 MLP 结构，并采用新型的 MLP 注意力工具，我们实现了在小数据集上的从头训练的 SOTA 结果，同时具备出色的解释能力。

    May, 2022

  • S$^2$-MLP: 视觉任务空间平移 MLP 架构

    本文提出一种新颖的 MLP 架构，空间平移 MLP (S$^2$-MLP)，只包含通道混合 MLP，利用局部接收场进行补丁之间的通信，其参数自由且计算效率高，比 MLP-Mixer 在 ImageNet-1K 数据集上获得更高的识别精度，同时具有与 ViT 相当的性能且更简单的架构。

    Jun, 2021

  • 基于 MLP-Mixer 神经网络的多视角多标签异常网络流分类

    本文提出了一种基于 MLP-Mixer 的多视图多标签神经网络用于网络流量分类，将报文分为报文头和报文体，并从不同的视图输入报文的流特征，通过利用不同场景之间的相关性来改善分类性能，在三个公共数据集上进行了实验，结果表明我们的方法可以取得更好的性能。

    Oct, 2022

  • 我们为新的范式转变做好准备了吗？对视觉 Deep MLP 的调查

    本文综述了深度 MLP 模型在计算机视觉领域中的应用，从卷积、自注意力机制以及 Token-mixing MLP 的内在联系和区别进行了详细比较，分析了 MLP 变种的优缺点和应用，并提出了下一代计算设备和方法的发展方向。

    Nov, 2021