NOMAD：用于算子学习的非线性流形解码器

Jun, 2022

NOMAD：用于算子学习的非线性流形解码器

NOMAD: Nonlinear Manifold Decoders for Operator Learning

Jacob H. Seidman, Georgios Kissas, Paris Perdikaris, George J. Pappas

TL;DRNOMAD, a novel operator learning framework with a nonlinear decoder map, can accurately learn low dimensional, finite dimensional representations of nonlinear submanifolds in function spaces, outperforming linear models and achieving competitive performance with a significantly smaller model size and training cost.

Abstract

supervised learning in function spaces is an emerging area of machine learning research with applications to the prediction of complex physical systems such as fluid flows, solid mechanics, and climate modeling.

supervised learning function spaces operator learning nonlinear submanifolds finite dimensional representations

发现论文，激发创造

MD-NOMAD: 混合密度非线性流形解码器用于模拟随机微分方程和不确定性传播

我们提出了一种神经算子框架，称为混合密度非线性流形解码器（MD-NOMAD），用于随机模拟器。我们的方法利用了点对点算子学习神经结构非线性流形解码器（NOMAD）与基于混合密度的方法的融合，用于估计随机输出函数的条件概率分布。MD-NOMAD 利用概率混合模型估计复杂概率和点对点神经算子 NOMAD 的高维扩展性。我们对广泛的随机常微分方程和偏微分方程进行了实证评估，并展示了相应的结果，突出了该框架的性能。

Apr, 2024

神经算子：学习函数空间之间映射

本研究介绍了神经算子，它是一种学习算子的新型神经网络，能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理，可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法，并在偏微分方程的解算子的代理映射中应用了神经算子，结果表明相较于传统 PDE 求解器和现有的机器学习方法，神经算子具有更好的性能优势且速度更快。

Aug, 2021

使用深度卷积自编码器对非线性流形上的动态系统进行模型简化

介绍一种新的基于最小残差的方法，通过在时间连续和时间离散水平上使用非线性流形将动力系统投影到上，即流形 Galerkin 投影和流形 Petrov-Galerkin 投影，并提出了一个计算非线性流形的可行方法，该方法基于深度学习中的卷积自编码器。最后，演示了这种方法在反向控制问题上的比优对比结果。

Dec, 2018

在潜在空间中学习提高深度神经算子的预测准确性

使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

Apr, 2023

流形上的投影梯度下降算法

本文提供了一种可计算、直接且数学严谨的方法，用于近似高维数据的类流形的微分几何，以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中，在流形上生成新颖的数据样本，并实现了流形上的对抗训练的投影梯度下降算法，以解决神经网络对对抗性攻击的敏感性问题。

Aug, 2023

基于浅层掩模自编码器的快速、精确、物理先验神经网络降阶模型

提出一种基于神经网络减小秩的 ROM 新方法，在处理对流主导的现象时更好地逼近高保真模型，通过在非线性流域中超减少运算并得到适当的误差界限达到更好的效率。

Sep, 2020

使用受限自动编码器学习非线性投影用于动态系统的降阶建模

最近开发的降阶建模技术旨在从数据中学习的低维流形上近似非线性动力系统。我们介绍了一种由约束的自动编码器神经网络描述的参数化非线性投影类，其中流形和投影纤维都是从数据中学习得到的。此外，我们还提出了一些新的动力学感知成本函数，以促进学习考虑快速动力学和非正常性的斜投影纤维。为了展示这些方法及其解决的特定挑战，我们提供了一个关于涡街现象的三状态模型的详细案例研究。同时，我们还提出了几种基于我们提出的非线性投影框架构建计算高效的降阶模型的技术。这包括一种用于避免计算 Grassmann 流形上有害的权重矩阵收缩的新型稀疏促进惩罚项的编码器。

Jul, 2023

多流形扩散场

本文提出了一种名为 Manifold Diffusion Fields（MDF）的方法来学习定义在黎曼流形上的连续函数的生成模型，该方法利用了谱几何分析的见解，在流形上定义了一种内在坐标系统，MDF 使用由多个输入输出对形成的显式参数化来表示函数，该方法允许在流形上采样连续函数，并且对于流形的刚性和等距变换是不变的，实证结果表明，与之前的方法相比，MDF 可以更好地捕捉这些函数的分布，具有更好的多样性和保真度。

May, 2023

参数降维的流形学习

本研究探索了一种通过有效参数识别的数据驱动参数缩减方法，从目前的非线性流形学习技术开始，以实现对与复杂模型相关的高维参数空间的高效探索。

Jul, 2018

局部流形学习的深度网络

本文提出了一种基于深度学习的算法，用于在未知流形中函数的扩展问题上。该算法使用多层神经网络和局部坐标系统来实现函数近似，同时保证输出的误差范围与目标函数的导数数量成正比，并在不需要目标函数的光滑性的情况下自动调整精度。

Jul, 2016