May, 2021

ResMLP：用于图像分类的前馈网络与高效训练

PDF
TL;DRResMLP 是一种基于多层感知器的图像分类架构，在现代训练策略（包括数据扩增和引入先验）的支持下在 ImageNet 上取得了令人惊讶的良好准确性 / 复杂度平衡，并通过自监督学习进一步去除了基于带标签数据集的先验知识。同时，将该模型应用于机器翻译领域也能获得令人惊讶的效果。
resmlpmulti-layer perceptronimage classificationdata-augmentationself-supervised learning
发现论文，激发创造
  • RepMLP: 将卷积重新参数化为全连接层，用于图像识别

    通过在全连接层中加入留先验，我们提出了 RepMLP 这个用于图像识别的神经网络模块。我们将卷积层嵌入 RepMLP 中，从而结合了全局表征能力和位置感知能力，并通过在 CNN 中插入 RepMLP 进一步提高了准确性。

    May, 2021

  • IamNN：用于高效图像分类的迭代自适应移动神经网络

    本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

    Apr, 2018

  • 多重残差网络：提高残差网络的速度和准确性

    本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

    Sep, 2016

  • 高效深度脉冲多层感知机：无乘法推理

    我们提出了一种新型 SNN MLP 架构，使用批归一化保留 MFI 兼容性，并引入针对强化本地特征提取能力的尖峰编码层，有效地结合全局感受野和本地特征提取进行综合基于脉冲的计算，实现了在 ImageNet-1K 数据集上具有 66.39％的 Top-1 准确度，而不依赖预训练或复杂的 SNN 培训技术。

    Jun, 2023

  • X-MLP: 一个无需 Patch 嵌入的 MLP 视觉架构

    提出一种基于全连接层的 MLP 体系结构 X-MLP，比现有的 MLP 模型和 CNNs 略表现更好，在多个基准数据集上进行了测试，具有捕捉长距离依赖性的特点。

    Jul, 2023

  • 像素递归神经网络

    本文介绍了一种深度神经网络模型，用于在两个空间维度上序列预测图像像素；该模型对图像的离散概率进行建模，并在深层循环网络中使用了快速的二维循环层和残差连接，实现了比以前的最新技术更好的自然图像日志似然度分数。

    Jan, 2016

  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • RepMLPNet：具有重新参数化局部性的分层视觉 MLP

    本文提出了一种名为 Locality Injection 的方法，利用结构重参数化思想将并行卷积核的训练参数合并到全连接层的核中，用于提取特征，同时通过 RepMLP Block 构建的多层感知器网络 RepMLPNet 在 Semantic Segmentation 等下游任务中展现出更佳的准确性和效率。

    Dec, 2021

  • ConvMLP: 视觉 Hierarchical Convolutional MLPs

    提出了层次化的卷积 MLP，称其为 ConvMLP，可用于视觉识别、物体检测和语义分割等任务，与 MLP-Mixer-B/16 相比，ConvMLP-S 使用了更少的参数，且在 ImageNet-1k 数据集上具有较高的准确性。

    Sep, 2021

  • MLP-Mixer: 一种用于视觉的全 MLP 架构

    本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

    May, 2021