Nov, 2023

使用Transformer进行偏微分方程的多尺度时间步进

HTML
PDF
TL;DR使用Transformer神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测Navier-Stokes方程的时间演化方面取得了与Fourier Neural Operator（FNO）和OFormer、Galerkin Transformer两种基于Transformer的神经算子相当或更好的结果。
发现论文，激发创造
  • 利用物理约束深度自回归网络模拟PDE系统动态

    本文提出了一种基于物理约束的深度学习模型，通过自动回归密集编码器-解码器卷积神经网络建模非线性动力学系统，实现对时间步骤的预测量进行不确定性量化，并利用其在多个非线性瞬态偏微分方程系统上进行测试。

    Jun, 2019

  • 多尺度微分方程时间步进的分层深度学习

    本文提出了一种基于深度神经网络的多尺度时间步进方案来数值模拟非线性微分方程的系统，解决了多时间尺度模型的数值模拟问题，同时提高了模拟的准确性和计算效率。

    Aug, 2020

  • 具有物理知识的DeepONets用于参数演化方程的长时间积分

    本文提出了一种用于无配对输入输出观测的深度神经网络参数化的无穷维算子的学习框架，以实现对于参数ODE/PDE系统的精确长时间模拟，该方法虽然比传统数值解算法计算成本低，但可靠性更高且能够全局评估。

    Jun, 2021

  • 通过潜在全局演化学习加速偏微分方程

    提出了一种名为LE-PDE的简单，快速且可扩展的方法，通过学习局部动态演化的全局表示，并使用已学习的潜在演化模型在潜空间中进行演化，使得PDEs的模拟和反问题求解加速，通过1D和2D方程的测试结果表明，相比于现有的深度学习模型和其他强基线的方法，最多可达到128倍的更新尺寸减少和15倍的速度提升，同时精度仍然具有竞争力。

    Jun, 2022

  • DiTTO: 扩散启发的时态变换器操作符

    我们提出了一种名为DiTTO的算子学习方法来连续地解决时间相关的偏微分方程，该方法通过将受扩散模型启发的框架与Transformer架构相结合，实现了在多个维度上的各种PDEs的准确解决，并通过使用扩散模型中的快速采样概念进一步提高了性能，并展示了DiTTO可以在时间上精确执行零短片超分辨率。

    Jul, 2023

  • 用于建模动态系统的Waveformer

    通过波形函学习法学习动态系统解算符以提高准确性并超越现有的操作符学习算法的研究。

    Oct, 2023

  • 潜在神经PDE求解器：用于偏微分方程的降阶建模框架

    利用神经网络在粗粒化离散空间中学习系统的动力学，并通过降维简化了时间模型的训练过程，同时展示了与在全序空间上操作的神经PDE求解器相比，该方法具有竞争力的准确性和效率。

    Feb, 2024

  • 基于领域分解的自回归深度学习模型用于非稳态和非线性偏微分方程

    本研究针对非稳态和非线性偏微分方程存在的模型准确性不足的问题，提出了一种名为transient-CoMLSim的基于领域分解的深度学习框架。该框架通过使用卷积神经网络和自回归模型相结合，显著降低了计算复杂度并提高了可扩展性，能够有效应对大规模模拟，最终证明其在准确性和稳定性方面优于主流深度学习架构。

    Aug, 2024

  • 基于域分解的自回归深度学习模型用于非稳态非线性偏微分方程

    本文提出了一种基于域分解的深度学习框架transient-CoMLSim，用于准确建模非稳态和非线性偏微分方程。该框架通过在子域上计算低维基础，显著降低了计算复杂性并提高了可扩展性，其关键发现是在保持预测准确性的同时，能有效扩展到具有多样化域大小的场景。

    Aug, 2024

  • 多维数据的迁移学习：基于神经网络的替代建模新方法

    本研究解决了高成本训练数据生成的问题，提出通过混合数值解训练卷积神经网络（CNN）替代模型的创新方法。研究表明，该模型在多相流测试问题上超越传统的蒙特卡洛方法，在数据生成预算上实现了显著节省。此发现为复杂多尺度系统的建模提供了更高效的替代方案。

    Oct, 2024