Apr, 2024

用于解决时间依赖偏微分方程的非线性参数化的顺序时间训练

PDF
TL;DR顺序时间方法用于训练非线性参数化模型（如神经网络）以近似求解偏微分方程随时间变化的解轨迹。本文指出顺序时间训练方法可以广义地理解为优化 - 离散化或离散化 - 优化的方案，并将其与数值分析中已知的概念联系起来。其统一视角提供了新的稳定性和后验误差分析结果，从而揭示了优化 - 离散化或离散化 - 优化方案固有的理论和数值方面的洞察，如切空间崩溃现象（一种过拟合形式）。此外，统一视角有助于建立顺序时间训练方法的不同变体之间的连接，例如将能量泛函上的自然梯度下降方法识别为应用于相应梯度流的优化 - 离散化方案。
sequential-in-time methodsoptimize-then-discretizediscretize-then-optimizestabilitya posteriori error analysis
发现论文，激发创造
  • TSONN：面向时间步进的神经网络用于求解偏微分方程

    通过将时间步进方法与深度学习相结合，本研究将原始的 ill-conditioned 优化问题转化为一系列基于给定伪时间间隔的 well-conditioned 子问题，从而大幅提高了模型训练的收敛性，提供了一个稳健的基于优化的 PDE 求解器。与基于传统网格的数值方法相比，在神经网络优化方法框架下，本方法展示了时间步进方法的几个新颖特性和优势，同时显著提高了显式方案的时间步长，并且隐式方案的实现方式与显式方案一样简单。

    Oct, 2023

  • 具有物理知识的 DeepONets 用于参数演化方程的长时间积分

    本文提出了一种用于无配对输入输出观测的深度神经网络参数化的无穷维算子的学习框架，以实现对于参数 ODE/PDE 系统的精确长时间模拟，该方法虽然比传统数值解算法计算成本低，但可靠性更高且能够全局评估。

    Jun, 2021

  • 基于同伦的神经常微分方程训练，用于准确的动态探索

    本研究提出一种利用混沌和数学优化的训练算法，可有效解决 NeuralODEs 实际应用中训练时间长，效果不佳的问题。与传统训练方法相比，该算法在不更改模型架构的情况下，可大幅降低误差值，并能够准确地捕捉真实的长期行为并正确地向未来外推。

    Oct, 2022

  • 连续时空模型的操作员学习及混合优化方案

    基于运算器学习的最近进展，本文提出了一种连续时空数据驱动建模框架，并通过三个数值实例研究了该框架的性能，结果证实了该建模框架的分辨率不变性，并展示了仅使用短期时间序列数据进行稳定长期模拟的能力，此外，也表明了通过混合优化方案，结合短期和长期数据，提出的模型能更好地预测长期统计数据。

    Nov, 2023

  • 基于 ODE 的学习优化

    通过将惯性系统与 Hessian 驱动的阻尼方程（ISHD）与基于学习的方法相结合，本文提出了一个综合框架，以理论洞察力的深度协同为基础，通过发展优化方法来研究加速方法的理解。

    Jun, 2024

  • 时序物理约束神经网络的精确执行

    用深度学习方法在科学计算中表示了工程问题解决的潜在范式转变。我们介绍了一种通过解假设来完全强制执行连续性的硬约束顺序 PINN 方法，该方法简单易行且消除了与时间连续性相关的任何损失项。通过一些基准问题的测试，我们证明了该方法在线性和非线性 PDEs 方面的卓越收敛性和准确性，尤其是在时间精度方面对于混沌问题的敏感性。

    Feb, 2024

  • NeuPDE: 基于神经网络的常微分方程和偏微分方程模型，用于建模时变数据

    使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。

    Aug, 2019

  • DiTTO: 扩散启发的时态变换器操作符

    我们提出了一种名为 DiTTO 的算子学习方法来连续地解决时间相关的偏微分方程，该方法通过将受扩散模型启发的框架与 Transformer 架构相结合，实现了在多个维度上的各种 PDEs 的准确解决，并通过使用扩散模型中的快速采样概念进一步提高了性能，并展示了 DiTTO 可以在时间上精确执行零短片超分辨率。

    Jul, 2023

  • 基于神经网络的时间积分方法用于在粗网格上求解偏微分方程

    通过神经网络学习的无约束、半约束和完全约束的三种数学条件下的时间积分方案可显著提高在粗网格上求解偏微分方程的准确性。

    Oct, 2023

  • 分布式 TD 学习的原始对偶视角

    本文研究了分布式时间差异学习在网络化的多智能体马尔可夫决策过程中的应用，提出了基于分布式优化算法的方法，可以解释为在满足零空间约束的原始 - 对偶普通微分方程动力系统上的解，基于该系统在满足零空间约束的指数收敛行为，考察了在不同的分布式 TD 学习场景下，采用恒定和衰减步长，以及独立同分布和马尔可夫观测模型的最终迭代行为。与现有方法不同的是，该算法不需要假设底层通信网络结构为双随机矩阵。

    Oct, 2023