用于非线性动力学的快速神经混合牛顿求解器
该研究提出了一种利用高阶导数的可微时间代价替代标准数值求解器的方法以提高神经网络参数差分方程数值求解的效率，并且在监督分类、密度估计和时间序列建模任务中得到了验证。
Jul, 2020
本文提出了一种用于无配对输入输出观测的深度神经网络参数化的无穷维算子的学习框架，以实现对于参数ODE/PDE系统的精确长时间模拟，该方法虽然比传统数值解算法计算成本低，但可靠性更高且能够全局评估。
Jun, 2021
本研究提出了一种基于特定解算器或应用程序相关边界条件的ODE属性的方法来改善NeuralODE的稳定性和收敛性，该方法在线性和非线性系统模型中演示了其稳健性以及对局部极小值，不稳定性和稀疏数据样本具有显着的改进并提高了训练的性能。
Feb, 2023
将刚性系统的常微分方程通过时间的积分与伴随方法计算参数梯度的高效、隐式、矢量化方法在本文中进行了描述。创新之处在于在独立时间序列的数量和连续时间步骤的批次或“块”上对问题进行矢量化，从而有效地进行隐式常微分方程系统的组装。线性化的隐式反向欧拉法的块双对角结构使用并行循环消减进一步进行矢量化。在输入数据的两个轴上进行矢量化，提供了更高的计算带宽给计算设备，即使是相对稀疏数据的问题也能充分利用现代GPU，实现了超过100倍的加速，与标准的顺序时间积分相比。我们通过几个示例问题，包括来自分析刚性和非刚性ODE模型以及神经ODE模型的问题，展示了隐式的矢量化时间积分的优势，并描述并提供了此处开发的方法的免费开源实现。
Oct, 2023
使用Transformer神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测Navier-Stokes方程的时间演化方面取得了与Fourier Neural Operator（FNO）和OFormer、Galerkin Transformer两种基于Transformer的神经算子相当或更好的结果。
Nov, 2023
基于运算器学习的最近进展，本文提出了一种连续时空数据驱动建模框架，并通过三个数值实例研究了该框架的性能，结果证实了该建模框架的分辨率不变性，并展示了仅使用短期时间序列数据进行稳定长期模拟的能力，此外，也表明了通过混合优化方案，结合短期和长期数据，提出的模型能更好地预测长期统计数据。
Nov, 2023
顺序时间方法用于训练非线性参数化模型（如神经网络）以近似求解偏微分方程随时间变化的解轨迹。本文指出顺序时间训练方法可以广义地理解为优化-离散化或离散化-优化的方案，并将其与数值分析中已知的概念联系起来。其统一视角提供了新的稳定性和后验误差分析结果，从而揭示了优化-离散化或离散化-优化方案固有的理论和数值方面的洞察，如切空间崩溃现象（一种过拟合形式）。此外，统一视角有助于建立顺序时间训练方法的不同变体之间的连接，例如将能量泛函上的自然梯度下降方法识别为应用于相应梯度流的优化-离散化方案。
Apr, 2024
通过结合经典的牛顿方法和现有神经网络技术，我们提出了一种名为牛顿信息神经算子的新方法，用于解决非线性偏微分方程（PDE），特别是存在多个解的问题，并且相对于现有的神经网络方法，我们的方法在单一学习过程中有效地学习了多个解，同时仅需要较少的监督数据点。
May, 2024
本研究针对计算力学中对高效且可靠的算子学习算法的需求，提出了一种基于高斯过程的神经算子模型，解决了传统模型的分辨率依赖性和立方复杂度问题。通过引入“嵌入神经算子的核”，我们实现了高维非线性参数系统的输入分辨率独立性，并在复杂的偏微分方程求解中展示了优越的计算效率和准确性。
Sep, 2024