Nov, 2021

自适应 Fourier 神经算子：用于 Transformer 的高效标记混合器

PDF
TL;DR介绍一种名为 AFNO 的比自我注意力机制更有效的方法，它可处理高分辨率图片。它基于操作学习的原理，将令牌混合表示为一种连续的全局卷积，具有线性内存和近似线性时间复杂度，适用于 few-shot 分割任务，优于其他效率更高的自我注意力机制。
vision transformersadaptive fourier neural operatorglobal convolutiontoken mixingsegmentation
发现论文，激发创造
  • 自适应频率滤波器作为高效的全局令牌混合器

    通过将传统的卷积定理应用于深度学习，本研究揭示了自适应频率滤波器可作为高效的全局令牌混合器，进而提出了适应性频率滤波（AFF）令牌混合器。实验证明，AFFNet 在广泛的视觉任务中实现了卓越的准确性和效率平衡。

    Jul, 2023

  • 域不可知的 Fourier 神经算子

    提出了一种针对具有无规则几何形状和演变域的物理系统建模问题，称作 DAFNO 的新型神经算子体系结构，它在积分层架构中引入了平滑的特征函数，并利用 FFT 来将几何信息显式编码。在材料建模和气动力学仿真等基准数据集上，DAFNO 实现了与基线神经算子模型相比的最先进的准确性。

    Apr, 2023

  • 混合精度加速 Fourier 神经算子

    通过对 Fourier neural operator（FNO）进行全精度和混合精度训练的内存和运行时时间进行分析，研究混合精度训练的数值稳定性，并设计了一种训练程序，有效减少了训练时间和内存使用，而在准确性上几乎没有减少，适用于 Navier-Stokes 和 Darcy 流动方程。

    Jul, 2023

  • 用于处理正向与反向问题的可逆傅里叶神经算子

    本文提出了一种可逆傅里叶神经算子（iFNO），既能解决正向预测问题，又能解决逆向问题，通过设计一系列可逆傅里叶块在潜在通道空间共享模型参数、高效交换信息并相互正则化学习，结合变分自编码器以捕获输入空间内部结构并进行后验推理，从而克服了不适定性、数据不足、噪声等挑战，并通过对五个基准问题的评估证明了我们方法的有效性。

    Feb, 2024

  • 从谱的角度对傅里叶神经算子进行分析和改进的研究

    通过光谱分析明确展示了 Fourier 神经操作符在解决偏微分方程时相比卷积神经网络的显著有效性，并提出了 SpecBoost，一种集成学习框架，通过利用多个 Fourier 神经操作符来更好地捕捉高频信息，明显提高了在各种偏微分方程应用中的预测准确度，最高提升了 71%。

    Apr, 2024

  • 多网格张量化傅里叶神经算子用于高分辨率偏微分方程

    通过引入一种新的高效数据、可高度并行化的操作符学习方法，称为多网格张量化神经算子 (MG-TFNO)，我们解决了部分微分方程 (PDEs) 的学习解算符在高分辨率下存在的内存复杂度和数据稀缺性的限制。

    Sep, 2023

  • PAC-FNO: 并行结构全组分傅里叶神经操作器用于低质量图像识别

    提出了一种新的神经网络模型 PAC-FNO，它在频域中进行操作，能够处理不同分辨率的图像，并且通过与现有的图像识别模型结合，显著提高了不同分辨率图像的性能。

    Feb, 2024

  • 多分辨率傅里叶神经算子的主动学习

    提出了多分辨率主动学习的 FNO（MRA-FNO）框架，用于降低 Fourier 神经运算符的数据成本，并提高学习效率。通过概率多分辨率 FNO 和集成蒙特卡洛方法开发了有效的后验推断算法，采用效用 - 成本比率最大化作为采集函数来获取新的示例和分辨率，并通过矩匹配和矩阵行列式引理实现了可行、高效的效用计算。此方法适用于多保真度主动学习和优化问题，并在多个基准运算符学习任务中展现了优势。

    Sep, 2023

  • U-FNO – 多相流增强傅里叶神经算子深度学习模型

    U-FNO 是一种基于傅里叶神经算子的新颖神经网络结构，可用于解决在多孔介质中的多相流问题，相较于传统卷积神经网络模型和 ML 模型，U-FNO 模型在 CO2 注入问题中具有更高的准确性和数据利用率，只需三分之一的训练数据即可实现与该项目等效的准确性。

    Sep, 2021

  • 基于傅立叶神经算子的分辨率不变图像分类

    本文研究了使用傅里叶神经算子（FNOs）相对于标准卷积神经网络（CNNs）进行图像分类的方法。我们推导了 FNO 结构作为连续和 Frechet 可微分的神经算子在勒贝格空间上的例子，并提出了内插等变的适应结构。

    Apr, 2023