ICLRJul, 2021

CycleMLP: 密集预测的类 MLP 架构

PDF
TL;DR这篇论文介绍了一种简单的 MLP 类型架构 CycleMLP 对于视觉识别和密集预测是一种通用的骨干，优于现代 MLP 架构，可适应各种图像尺寸，能够实现与图像大小的线性计算复杂度， 用局部窗口代替全空间连接，成功地应用于物体检测、实例分割和语义分割等领域，表现优异，比当前其他已知的 MLP 和变压器模型更具优势。
cyclemlpmlp-like architectureobject detectionsegmentationvisual recognition
发现论文，激发创造
  • ConvMLP: 视觉 Hierarchical Convolutional MLPs

    提出了层次化的卷积 MLP，称其为 ConvMLP，可用于视觉识别、物体检测和语义分割等任务，与 MLP-Mixer-B/16 相比，ConvMLP-S 使用了更少的参数，且在 ImageNet-1k 数据集上具有较高的准确性。

    Sep, 2021

  • MorphMLP：一种用于时空表征学习的高效 MLP 骨干网络

    这篇研究提出了一种名为 MorphMLP 的自注意力自由骨干网络架构，它利用简洁的全连接层进行视频表示学习，并在多维度、多尺度因子分解的情况下实现了很好的精度 - 计算平衡，相比最新的最先进模型在视频基准测试中显著降低了计算量，同时获得更好的准确性。

    Nov, 2021

  • DynaMixer：一种具有动态混合的视觉 MLP 架构

    本文提出了一个称为 Dyn Mixer 的高效 MLP-like 深度学习网络结构，用于动态信息融合，并且通过一个过程生成融合矩阵，以应对 tokens 的内容，并通过采用降维技术和多段融合机制来减少时间复杂度和提高鲁棒性。Dyn Mixer 模型不需要额外的训练数据，在 ImageNet-1K 数据集上达到了 84.3％的准确率，参数数量减少到 26M 时，仍然获得 82.7％的 top-1 准确率，胜过类似容量的现有 MLP-like 模型。

    Jan, 2022

  • MAXIM：用于图像处理的多轴 MLP

    本文介绍了一种基于多轴 MLP 的体系结构 MAXIM，该体系结构可用作图像处理任务的高效和灵活的通用视觉骨干。MAXIM 使用 UNet 形状的分层结构，并支持由空间门控 MLP 启用的长程交互，其在多项基准测试中取得了最先进的性能，并且需要的参数和 FLOP 少于竞争模型。

    Jan, 2022

  • MLP-3D：一种带有分组时间混合的类 MLP 3D 架构

    本文使用 MLP-3D 网络结构实现了基于 token-mixing MLP 和 time mixing 的时序模型，并通过多种不同的 grouping 策略对 GTM 进行了改进，在不使用卷积或 self-attention 机制的情况下，在 Something-Something V2 和 Kinetics-400 数据集上分别实现了 68.5％/ 81.4％的 top-1 准确率，性能与 3D CNNs 和 video transformers 不相上下。

    Jun, 2022

  • GraphMLP：用于 3D 人体姿态估计的类图像多层感知机结构

    提出了一种简单有效的图强化 MLP-Like 架构，名为 GraphMLP，它将 MLP 和图卷积网络（GCN）结合在一起，用于 3D 人体姿态估计，并将人体的图结构融入到 MLP 模型中，允许局部和全局空间相互作用，实现了对视频和单帧中 3D 人体姿态估计的最新性能。

    Jun, 2022

  • SpiralMLP：一种轻量级视觉 MLP 架构

    SpiralMLP 是一种新颖的架构，通过将传统的 Token Mixing 方法替换为 Spiral FC 层，引入了螺旋状偏移量，实现了局部和全局特征的无缝集成，并在 ImageNet-1k、COCO 和 ADE20K 数据集上达到了与 Transformers、CNNs 以及其他 MLPs 相似的最先进性能。

    Mar, 2024

  • MLP-Mixer: 一种用于视觉的全 MLP 架构

    本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

    May, 2021

  • 全分辨率 MLP 加强医学密集预测

    本研究针对医学图像恢复、配准和分割等医学视觉任务中的密集预测问题，提出了一种以多层感知器为基础的全分辨率分层框架，通过利用全图像分辨率下的组织级纹理信息，该框架可以在医学图像上实现长程依赖关系，并在多个公共数据集上的广泛实验中展示出超越卷积神经网络和 Transformer 的最先进性能。

    Nov, 2023

  • 一个门控的 MLP 架构用于学习时空图中的拓扑依赖关系

    通过利用拓扑非平凡不变量，我们提出了一种新的基于时空图的图神经网络 (Cy2Mixer)，它由消息传递块、循环消息传递块和时间块组成，有效地捕捉了时空图的空间和时间关系，并在各种交通基准数据集上展示了最先进的性能。

    Jan, 2024