ECCVJul, 2022

UniNet：卷积、Transformer 和 MLP 统一结构搜索

PDF
TL;DR通过引入可学习的卷积、Transformer 和 MLP 操作符的混合结构，并利用上下文感知降采样模块进行特征适应，本文使用强化学习搜索算法在统一搜索空间中进行搜索，达到了在 ImageNet 数据集上取得更高精度和更高效率的目标，相对于 EfficientNet-B7 和 BoTNet-T7 减少了 44％和 55％的 FLOPs，相对于 Swin-L 减少了 51％的 FLOPs 和 41％更少的参数。
transformermulti-layer perceptronconvolutiondownsampling modulesreinforcement learning
发现论文，激发创造
  • 网络结构之战：CNN、Transformer 和 MLP 的实证研究

    本文比较了卷积神经网络、Transformer、multi-layer perceptron 等算法的优劣，并在 SPACH 框架下进行了实验，结果显示，使用卷积和 Transformer 模块的混合模型已经能够实现与其他模型相同的准确率。

    Aug, 2021

  • 基于 Swin Transformer 和多尺度 MLP 的高效 U 形架构用于医学图像分割的 STM-UNet

    本文提出了一种基于 Swin Transformer 和多尺度 MLP 的高效 U 形架构，即 STM-UNet，用于医学图像分割，旨在有效利用 Transformer 和 MLP 以提高模型性能和全局特征建模能力，设计了一种新型 PCAS-MLP 并将其放置到架构的 “瓶颈” 中，提高了分割性能。实验结果表明，我们提出的方法在 ISIC2016 和 ISIC2018 方面优于其他状态下最先进的方法，同时在高分割准确性和低模型复杂性之间取得了更好的平衡。

    Apr, 2023

  • UniT：统一变形器进行多模态多任务学习

    我们提出了一种名为 UniT 的统一 Transformer 模型，该模型可以同时学习不同领域中最重要的任务，从目标检测到自然语言理解和多模态推理，在编码器 - 解码器架构的基础上，通过编码器对每个输入模态进行编码，并使用共享解码器对编码的输入表示进行每个任务的预测，然后是特定于任务的输出头。我们的实验证明，在 8 个数据集上联合学习 7 个任务，使用比以前的工作更少的参数，在每个任务上都获得了强大的性能。

    Feb, 2021

  • UniFormer：统一卷积和自注意力机制用于视觉识别

    提出了一种新方法 UniFormer，能够将 CNN 和 ViT 的优点融合到一个新的强大的支持各种视觉任务，包括图像分类、目标检测、语义分割和姿态估计等的 Transformer 模型中，并在不需要额外训练数据的情况下，达到了 ImageNet-1K 分类的 86.3% 的 top-1 准确率，以及在一系列任务中取得了最先进的性能。

    Jan, 2022

  • UberNet: 使用多样化数据集和有限内存训练 “通用” 的卷积神经网络，以进行低、中、高层次的视觉处理

    本文介绍了一种卷积神经网络，在统一体系结构中同时处理低阶，中阶和高阶视觉任务，其通过端到端训练，为视觉任务提供了通用解决方案，同时解决了训练深度架构时依赖不同训练集和训练多个任务时内存有限的问题，通过这些方法在单个 GPU 上每帧 0.7 秒地同时处理多项任务，其中包括边界检测，正常估计，显著性预测，语义分割，人体部分分割，语义边界检测，区域建议生成和物体检测等，同时保证了高准确率。

    Sep, 2016

  • MAXIM：用于图像处理的多轴 MLP

    本文介绍了一种基于多轴 MLP 的体系结构 MAXIM，该体系结构可用作图像处理任务的高效和灵活的通用视觉骨干。MAXIM 使用 UNet 形状的分层结构，并支持由空间门控 MLP 启用的长程交互，其在多项基准测试中取得了最先进的性能，并且需要的参数和 FLOP 少于竞争模型。

    Jan, 2022

  • ConvMLP: 视觉 Hierarchical Convolutional MLPs

    提出了层次化的卷积 MLP，称其为 ConvMLP，可用于视觉识别、物体检测和语义分割等任务，与 MLP-Mixer-B/16 相比，ConvMLP-S 使用了更少的参数，且在 ImageNet-1k 数据集上具有较高的准确性。

    Sep, 2021

  • UniNeXt：探索一种统一的视觉识别架构

    本研究提出了 UniNeXt，对计算机视觉中的通用骨干架构进行了改进，这提高了所有空间令牌混合器的性能，并缩小了它们之间的性能差距，甚至超越了之前的最优解，它还表明了对通用骨干架构的研究的重要性。

    Apr, 2023

  • MLP-Mixer: 一种用于视觉的全 MLP 架构

    本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

    May, 2021

  • U-MixFormer：混合注意力的类 UNet Transformer 进行高效语义分割

    我们提出了一种新的变换器解码器 U-MixFormer，基于 U-Net 结构设计的，用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询，我们的方法与以前的变换器方法有所不同。此外，我们创新地混合来自各个编码器和解码器阶段的分层特征图，形成一个统一的键和值表示，从而产生我们独特的混合注意模块。大量实验证明，U-MixFormer 在各种配置上表现出色，并且在 ADE20K 上使用 MSCAN-T 编码器的 mIoU 比 SegFormer 和 FeedFormer 高出 3.3%。

    Dec, 2023