多分辨率傅里叶神经算子的主动学习

Sep, 2023

多分辨率傅里叶神经算子的主动学习

Multi-Resolution Active Learning of Fourier Neural Operators

Shibo Li, Xin Yu, Wei Xing, Mike Kirby, Akil Narayan...

TL;DR提出了多分辨率主动学习的FNO（MRA-FNO）框架，用于降低Fourier神经运算符的数据成本，并提高学习效率。通过概率多分辨率FNO和集成蒙特卡洛方法开发了有效的后验推断算法，采用效用-成本比率最大化作为采集函数来获取新的示例和分辨率，并通过矩匹配和矩阵行列式引理实现了可行、高效的效用计算。此方法适用于多保真度主动学习和优化问题，并在多个基准运算符学习任务中展现了优势。

Abstract

fourier neural operator (FNO) is a popular operator learning framework, which not only achieves the state-of-the-art performance in many tasks, but also is highly efficient in training and prediction. However, collecting training data for the FNO is a costly bottleneck in practice, bec

发现论文，激发创造

非局部神经算子：通用逼近

此研究提出了一种被称为非局部神经算子（NNO）的候选算子，允许在任意几何空间中对算子进行逼近，因此包括傅里叶神经算子（FNO）作为一个特例并展示了这个理论结果统一了广泛的神经算子结构的分析。

Apr, 2023

Vandermonde神经算子

该论文提出了一种基于Vandermonde结构矩阵的神经运算符VNO，用于处理非等间距数据，比FNO方法更快且精度更高，并且优于非等间距方法Geo-FNO。

May, 2023

混合精度加速 Fourier 神经算子

通过对Fourier neural operator（FNO）进行全精度和混合精度训练的内存和运行时时间进行分析，研究混合精度训练的数值稳定性，并设计了一种训练程序，有效减少了训练时间和内存使用，而在准确性上几乎没有减少，适用于Navier-Stokes和Darcy流动方程。

Jul, 2023

多网格张量化傅里叶神经算子用于高分辨率偏微分方程

通过引入一种新的高效数据、可高度并行化的操作符学习方法，称为多网格张量化神经算子(MG-TFNO)，我们解决了部分微分方程(PDEs)的学习解算符在高分辨率下存在的内存复杂度和数据稀缺性的限制。

Sep, 2023

关于参数到可观测映射的操作学习视角

Fourier Neural Mappings (FNMs) framework introduces computationally efficient surrogates for parametrized physical models using the operator learning perspective, accommodating finite-dimensional inputs and outputs and demonstrating benefits for approximating nonlinear parameter-to-observable (PtO) maps.

Feb, 2024

用于处理正向与反向问题的可逆傅里叶神经算子

本文提出了一种可逆傅里叶神经算子（iFNO），既能解决正向预测问题，又能解决逆向问题，通过设计一系列可逆傅里叶块在潜在通道空间共享模型参数、高效交换信息并相互正则化学习，结合变分自编码器以捕获输入空间内部结构并进行后验推理，从而克服了不适定性、数据不足、噪声等挑战，并通过对五个基准问题的评估证明了我们方法的有效性。

Feb, 2024

MODNO: 多操作员学习与分布式神经算子

使用分布式训练方法，本文提出了一种新颖的方法，可以通过少量参数有效地解决多算子学习问题，同时通过对多个类似算子的数据使用互补学习能够更有效地构建具有有限数据的算子，提高运算学习的效率。

Apr, 2024

从谱的角度对傅里叶神经算子进行分析和改进的研究

通过光谱分析明确展示了Fourier神经操作符在解决偏微分方程时相比卷积神经网络的显著有效性，并提出了SpecBoost，一种集成学习框架，通过利用多个Fourier神经操作符来更好地捕捉高频信息，明显提高了在各种偏微分方程应用中的预测准确度，最高提升了71%。

Apr, 2024

傅里叶神经算子的离散化错误

该研究使用算子学习方法设计了Fourier神经算子(FNO)来逼近函数空间之间的映射，通过将物理空间中的逐点线性和非线性操作与傅里叶空间中的逐点线性操作相结合，并在离散化的网格上进行计算，该研究定量描述了离散化造成的别名误差，并得到了网格分辨率的代数收敛率及其与输入的规则性之间的关系，同时通过数值实验证实了理论结果并描述了模型的稳定性。

May, 2024

具有可学习的频率感知丢失先验的分层神经运算器变压器用于任意尺度超分辨率

本研究提出了一种任意尺度的超分辨率方法，用于提高科学数据的分辨率；基于算子学习，使用分层神经算子和自注意机制，利用Sinc滤波器实现不同层级之间的信息传递，并引入可学习的先验结构动态调整像素贡献权重，从而有效平衡模型中的梯度；在多个领域的不同数据集上进行了大量实验证明相对于最先进的方法，本方法有着持续的改进。

May, 2024