图神经网络的一阶偏微分方程:平流和 Burgers 方程模型
本文提出了一类基于偏微分方程数值方法的图神经网络架构来解决传统卷积神经网络可能存在的过度平滑问题,通过实验证明该方法可以处理不同领域的问题并在某些领域获得优于或相当于当前最先进结果。
Aug, 2021
本论文提出了一种多级深度学习方法来解决非线性偏微分方程(PDEs),该方法能够高效地学习方程的解,并且在预测准确性上优于现有的单级深度学习方法
Sep, 2023
本论文中,我们提出了一个名为 “GrADE” 的新颖框架,以解决非线性偏微分方程的时间依赖性问题,该框架包括 FNN(fully connected neural network)和 Graph Neural Network 以及最近开发的神经 ODE 框架,并使用注意机制来增强其性能。我们将更多的重量分配给重要的输入特征。同时,该框架还使用了 O (1) 常数内存的神经 ODE 框架,提高了速度。我们还提出了深度精炼技术,以更快、更准确地训练该框架,仿真结果表明该框架在解决 PDE 建模的问题上表现卓越。
Aug, 2021
通过构建多级图神经网络框架,解决基于深度学习的物理系统模拟和偏微分方程求解中数据格式与神经网络所需结构不匹配所带来的挑战,提出一种对于 GNN 和多分辨率矩阵核分解统一的方法,该方法可以处理所有范围的相互作用并具有线性复杂度。实验证明,这种多图网络可以学习离散化不变的 PDE 解算符并可以在线性时间内进行评估。
Jun, 2020
本研究在深度学习的基础上,采用图神经网络对二维定常不可压纳维尔 - 斯托克斯方程在不同机翼几何形状下的解进行逼近,同时测试模型表现在体积和表面量如壁面剪切应力或等压力等的逼近性能,并推导出机翼的提升力和阻力等全局系数进行设计探索。
May, 2023
深度神经网络与偏微分方程之间的关系启发我们研究了深度神经网络的偏微分方程模型的一般形式。在一些合理的假设下,我们证明演化算子实际上由对流 - 扩散方程决定。这个模型为几个有效的网络提供了数学解释。此外,我们还展示了对流 - 扩散模型提高了鲁棒性并减小了 Rademacher 复杂度。基于对流 - 扩散方程,我们设计了一种适用于 ResNets 的新训练方法。实验证实了所提出方法的性能。
Jul, 2023
本文介绍了连续深度图神经网络 (GNN) 的框架,将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物,其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定,证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势,在动态设置中,通过利用潜在动态的几何结构性能得到了提高。
Nov, 2019
通过将深度视为连续时间嵌入演化的方法,我们在本文中解耦了超椭圆图神经网络 (HGNN) 并将信息传播重新构造为偏微分方程 (Partial Differential Equation, PDE),让节点注意力承担超椭圆神经 PDE (Hyperbolic Neural PDE, HPDE) 中的传导性作用。通过引入理论原则,如非欧几里得流形上的场和流、梯度、散度和传导性,我们讨论了用于形成数值 HPDE 解算器的隐式和显式离散化方案。进一步,我们提出了超椭圆图扩散方程 (Hyperbolic Graph Diffusion Equation, HGDE) - 这是一个灵活的矢量流函数,它可以集成以获得表达力强的超椭圆节点嵌入。通过分析嵌入的潜在能量衰减,我们证明了 HGDE 能够模拟低阶和高阶近邻关系,并具有局部 - 全局传导函数的好处。节点分类和链路预测以及图像 - 文本分类任务的实验证明了所提方法的优越性,其性能始终显著优于各种竞争模型。
Jun, 2024
该论文提出了一种利用偏微分方程来改进神经网络泛化性能的方法,并将其实现为 PDE + (具有自适应分布扩散的 PDE),该方法通过扩散每个样本以覆盖语义相似的输入分布,以改善泛化性能。
May, 2023