ICCVJul, 2023

自适应频率滤波器作为高效的全局令牌混合器

PDF
TL;DR通过将传统的卷积定理应用于深度学习，本研究揭示了自适应频率滤波器可作为高效的全局令牌混合器，进而提出了适应性频率滤波（AFF）令牌混合器。实验证明，AFFNet 在广泛的视觉任务中实现了卓越的准确性和效率平衡。
vision transformerslarge-kernel cnnsmlpsadaptive frequency filteringaffnet
发现论文，激发创造
  • 自适应 Fourier 神经算子：用于 Transformer 的高效标记混合器

    介绍一种名为 AFNO 的比自我注意力机制更有效的方法，它可处理高分辨率图片。它基于操作学习的原理，将令牌混合表示为一种连续的全局卷积，具有线性内存和近似线性时间复杂度，适用于 few-shot 分割任务，优于其他效率更高的自我注意力机制。

    Nov, 2021

  • 全局卷积网络用于图像分类

    GFNet 是一个简单而高效的架构，它通过频域中的长期空间依赖性来替换自注意力层，在 ImageNet 和下游任务中表现出有竞争力的准确性 / 复杂性权衡。

    Jul, 2021

  • 基于 FFT 的视觉动态令牌混合器

    提出了一种新的动态滤波器 Token-mixer，与 MHSA 类似，但计算复杂度较低，并在图像识别中达到了与卷积和 MHSA 混合架构相近的精度水平，对于处理高分辨率图像的吞吐量和内存效率优于 CAFormer。

    Mar, 2023

  • FAMLP: 一种面向领域泛化的频率感知 MLP-Like 架构

    提出了一种新颖的基于自适应傅里叶滤波器层和低秩增强模块的多层感知器结构，以提高 MLP 模型的领域适应性，实现了比其他方法更好的泛化性能。

    Mar, 2022

  • 领域泛化的深度频率滤波

    本研究提出了一种称为 Deep Frequency Filtering（DFF）的技术，可以通过调节深度神经网络中的不同频率组件来学习域通用特征在跨域转移时具有更好的泛化能力。通过 Fast Fourier Transform（FFT）技术和注意力机制，DFF 可以增强可转移的频率成分并抑制不利于泛化的成分。在多种跨域泛化任务中，DFF 优于现有技术并获得了最佳性能。

    Mar, 2022

  • AdaGNN：具有自适应频率响应滤波器的图神经网络

    提出了一种新颖的图神经网络框架 AdaGNN，其中包含了一种经过精心设计的自适应频率响应滤波器，可以在节点表示学习中捕获不同特征通道之间的内在差异，从而具有更强的表达能力并自然地缓解压平问题。在各种基准数据集上实证表明，所提出的 AdaGNN 框架具有很高的有效性，同时还提供了理论分析以证明其优越性。

    Apr, 2021

  • 自动语音识别中替代 CNN 前端的多视角频率 - 注意力算法

    采用 F-Attention 模块替代卷积神经网络前端，在语音识别系统中全局关注频率可以显著减少相对字错率。

    Jun, 2023

  • MetaMixer 是你所需要的一切

    通过将自注意力转换为采用大型卷积和 GELU 激活函数的更类似于 Feed-Forward Network 的有效令牌混合器，作者尝试验证了查询 - 键 - 值框架的重要性，并提出了一种新的混合器体系结构 MetaMixer，在仅使用简单操作（如卷积和 GELU）的情况下取得了卓越的性能改进。

    Jun, 2024

  • GLFNET：用于高效医学图像分割的全局 - 局部（频率）滤波网络

    我们提出了一种名为全局 - 局部滤波网络（GLFNet）的新型 Transformer 风格架构，用于医学图像分割，证明了其具有最先进的性能。我们用全局 - 局部滤波块取代了自注意机制，以优化模型效率。全局滤波器从整个特征图中提取特征，而局部滤波器以适应性方式作为相同特征图的 4x4 补丁生成并添加受限的尺度信息。特征提取发生在频率域而不是常用的空间（图像）域，以实现更快的计算。来自空间和频率空间的信息融合创建了一个在复杂性、所需数据和性能方面效率高的模型。我们在三个基准数据集上测试了 GLFNet，在所有数据集上都实现了最先进的性能，而在 GFLOP 操作方面几乎提高了一倍的效率。

    Mar, 2024

  • FNet: 用 Fourier 变换混合 token

    通过使用线性混合器代替自注意层，与标准的非线性前馈层一起能够在几个文本分类任务中模拟语义关系。用标准、非参数特定的傅里叶变化替换 Transformer 编码器中的自注意子层在 GLUE 基准测试上取得了 92-97% 的 BERT 模型的准确性，同时在标准 512 输入长度的 GPU 上训练速度提高了 80%，在 TPU 上提高了 70%。在更长的输入长度上，FNet 模型速度极快，在长序列基准测试中，FNet 模型能够匹配最精确模型的准确性，提供更快的模型训练速度。此外，FNet 的内存占用相对较小，在较小的模型尺寸下运行的性能优于 Transformer 模型。

    May, 2021