Mar, 2024

ChebMixer: 高效的 MLP Mixer 图表示学习

PDF
TL;DR本研究提出了一种名为 ChebMixer 的新型架构，它使用快速的基于 Chebyshev 多项式的谱滤波来提取一系列的节点表示，通过 MLP Mixer 对每个节点的多尺度表示进行改进，最终通过 Chebyshev 插值来聚合节点的多尺度表示，以提高下游任务的性能。
发现论文，激发创造
  • HyperMixer：基于 MLP 的绿色 AI 替代 Transformer

    本文提出 HyperMixer 模型，通过使用超网络动态形成令牌混合 MLP 实现自然语言理解，相比于现有的 MLP-based 模型和 Transformer，在处理时间、训练数据和超参数调整方面具有更低的成本，并在实证中表现更好。

    Mar, 2022

  • MLP-Mixer: 一种用于视觉的全 MLP 架构

    本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

    May, 2021

  • 卷积神经网络在图上的 Chebyshev 逼近，重温

    本文的研究目的是通过 Chebyshev 多项式的逼近来研究光谱卷积网络的设计问题。我们发现 ChebNetII 能够学习任意的图卷积并在全监督和半监督的节点分类任务中显示出优异的表现。

    Feb, 2022

  • pNLP-Mixer: 一种用于语言处理的高效全 MLP 结构

    介绍了一种低内存、低延迟基于 MLP-Mixer 的 pNLP-Mixer 模型，通过在语言学上指导投影层，实现了高效的语义分析，达到了与 38 倍参数的 mBERT 相当的性能。

    Feb, 2022

  • 一个门控的 MLP 架构用于学习时空图中的拓扑依赖关系

    通过利用拓扑非平凡不变量，我们提出了一种新的基于时空图的图神经网络 (Cy2Mixer)，它由消息传递块、循环消息传递块和时间块组成，有效地捕捉了时空图的空间和时间关系，并在各种交通基准数据集上展示了最先进的性能。

    Jan, 2024

  • DynaMixer：一种具有动态混合的视觉 MLP 架构

    本文提出了一个称为 Dyn Mixer 的高效 MLP-like 深度学习网络结构，用于动态信息融合，并且通过一个过程生成融合矩阵，以应对 tokens 的内容，并通过采用降维技术和多段融合机制来减少时间复杂度和提高鲁棒性。Dyn Mixer 模型不需要额外的训练数据，在 ImageNet-1K 数据集上达到了 84.3％的准确率，参数数量减少到 26M 时，仍然获得 82.7％的 top-1 准确率，胜过类似容量的现有 MLP-like 模型。

    Jan, 2022

  • 分子中的关系发现和融合的光谱多图网络

    本文探讨了谱图卷积网络（GCNs）在变量图结构和大小的情况下解决图分类任务的效力，提出了一种从多关系图中学习的新型多图网络，并成功地在多个化学分类基准测试中取得了竞争性的结果。

    Nov, 2018

  • 混合层值一个图卷积：将 MLP 混合器和 GCN 统一应用于人体运动预测

    本研究开发了一种新的思路，通过将 Mixers 和 GCNs 统一起来，提出了一种 Meta-Mixing Network, 借助于一种新颖的零聚合操作，该网络能够以协作的方式捕捉结构不可知和结构敏感依赖性，不仅具有计算效率，而且还取得了最先进的性能，从而朝着真正可预测的人类运动迈出了一步。

    Apr, 2023

  • iMixer：分层 Hopfield 网络实现可逆、隐式、迭代的 MLP-Mixer

    本文研究了一种基于 Hopfield 网络的新型神经网络模型 iMixer，对多个图像分类数据集的实验结果显示其表现优于传统 MLP-Mixer 模型，揭示了 Hopfield 网络与 Mixers 之间的关联可作为 Transformer 类型架构设计的原理。

    Apr, 2023

  • Mixer 不仅仅是一个模型

    这篇研究论文介绍了一种名为 ASM-RH 的新型模型，它结合了时间和频率域的特点，特别适用于音频数据，并在多个分类任务中取得了有希望的成果。

    Feb, 2024