- 自动微分在神经网络求解微分方程中的重要性
神经网络方法在科学和工程领域中解决偏微分方程具有显著优势,尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质,通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经 - 稀疏专家混合模型中扰动余弦路由器的统计优势
通过对稀疏专家混合模型中余弦路由器的计算进行全面分析,我们证明当通过添加噪声到余弦路由器中的 L2 范数来稳定余弦路由器时,无论专家的结构如何,在稀疏混合模型中估计的速度可以显著提高到多项式速度。
- 闭式符号解:求解偏微分方程的新视角
该论文提出了一种新的框架:用于解决偏微分方程(PDE)的闭式符号框架(SymPDE),探索使用深度强化学习直接获得 PDE 的符号解。SymPDE 减轻了 Physics-Informed Neural Networks 在拟合高频率和陡变 - RoPINN: 区域优化的物理信息神经网络
该研究论文介绍了物理知识驱动的神经网络在求解偏微分方程中的应用,并提出了一种新的区域优化训练范式,通过在连续邻域区域进行模型优化,有效降低了模型的泛化误差,尤其对于高阶约束的偏微分方程。该新范式产生了一种实用的训练算法 RoPINN,通过简 - 多物理信息神经网络在多变量时间序列中的键合图
我们提出了一种结合了 Bond Graphs 和 Graph Neural Network 的神经物理信息编码器(NBgE),用于解决复杂的多物理领域任务。通过实验证明了该方法在多变量时间序列预测任务上的有效性。
- 深度祈兹方法中使用 PGD 训练的三层神经网络的误差分析
在这项工作中,我们专注于利用三层 tanh 神经网络在深 Ritz 方法 (DRM) 框架中解决具有三种不同边界条件的二阶椭圆方程,通过使用投影梯度下降 (PDG) 来训练三层网络并建立其全局收敛。我们对过参数化网络用于解决 PDE 问题的 - 通过进化计算发现用于解决偏微分方程的物理知识网络模型
基于进化计算方法提出一种解决偏微分方程的人工神经网络模型,具有更高的逼近精度和更快的收敛速度。
- 位置知识是一切所需:面向操作员学习的位置感知变压器 (PiT)
该论文提出了一种基于创新的位置注意机制构建的位置诱导变压器 (PiT),相比经典的自注意力,PiT 在算子学习中表现出显著优势,并且在各种复杂算子学习任务和不同的偏微分方程基准测试中,PiT 在当前最先进的神经算子方法中展现出卓越性能。
- GN-SINDy: 稀疏非线性偏微分方程的贪婪采样神经网络
在此论文中,我们介绍了一种称为 GN-SINDy 的方法,该方法通过融合贪婪采样方法、深度神经网络和 SINDy 算法,扩展了称为 DeePyMoD 的基于 SINDy 的深度学习模型发现方法。我们通过使用一个专门准备的 Python 软件 - 作为概率神经算子的扩散模型用于恢复动力系统的未观测状态
本研究探讨了以扩散为基础的生成模型作为偏微分方程 (PDE) 神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性,并能够在多个真实动力系统中优于其他神经算子。此外,我们演示了概率扩散模型如何优雅地处理部分可识别的系统,通 - 求解带有神经网络的偏微分方程过程中的损失跃迁
通过研究不同损失函数对神经网络解决偏微分方程的训练的影响,我们发现从数据损失到模型损失切换时会出现稳定的损失跃变现象, 进一步实验证明这一现象源于神经网络在不同损失函数下的频率偏好,这为研究神经网络在解决偏微分方程时的内在机制提供了有价值的 - 数据范围确定:高效学习通用传输偏微分方程的演化
该论文提出了一种分布式数据范围方法,通过严格限制信息范围来预测局部属性,从而解决了深度学习架构在传输现象模拟中的不兼容问题,实验证明该方法显著加速了训练收敛并提高了大规模工程模拟的模型泛化能力。
- 等变极限学习机快速高效预测偏微分方程
利用极限学习机(ELM)对偏微分方程(PDEs)进行预测,将状态空间分成多个窗口,通过单个模型分别进行预测,即使只有少量数据点,仍能达到很高的准确性,可以预测长时间范围内的 PDEs 流动。此外,我们展示了如何利用附加的对称性增强样本效率和 - 基于对称群的域分解以增强用于求解偏微分方程的基于物理信息的神经网络
本文提出了一种基于对称群的域分解策略,以增强物理信息神经网络(PINN)对具有李对称群的偏微分方程(PDE)的正向和反向问题的求解能力,该方法通过将整个训练域划分为多个不重叠的子域,并利用 PINN 和对称增强 PINN 方法在每个子域中学 - BiLO:用于 PDE 反问题的双层局部算子学习
我们提出了一种新的基于神经网络的方法,通过将 PDE 反问题建模为双层优化问题来解决偏微分方程(PDE)的反问题。
- 动态系统中的偏微分方程自动发现
ARGOS-RAL 利用稀疏回归结合循环自适应 lasso 从有限先验知识中自动识别偏微分方程 (PDEs),其性能在各种噪声水平和样本量下得到了严格评估,展示了在处理噪声和非均匀分布的数据方面的稳健性。通过将统计方法、机器学习和动力系统理 - 神经算子引导高斯过程框架用于参数化偏微分方程的概率解
神经算符、高斯过程、偏微分方程、不确定性度量和算符学习是该研究论文的关键词,提出了一个新的神经算符引导的高斯过程框架,通过实验验证了其在各种 PDE 示例中的优越准确性和预期不确定性特性。
- ODE-DPS: 基于 ODE 的扩散后验采样方法解决偏微分方程逆问题
利用基于评分的生成扩散模型,我们介绍了一种新颖的无监督反演方法,针对由偏微分方程引起的逆问题,通过解决一个逆向时间的随机微分方程来实现将后验分布作为条件生成过程的任务。此外,为了提高反演结果的准确性,我们提出了一种基于 ODE 的扩散后验采 - 研究用于自适应原位采样的引导信息在 PINNs 中的应用
通过对区域内一组残差函数的评估,物理信息神经网络 (PINNs) 提供了通过目标函数的最小化来获取偏微分方程和系统的近似解的方法。本文考虑了选择这些点的几种策略,并研究了它们对方法整体精度的影响,指出没有单一的 “最优” 方法,但我们展示了 - 混合深度学习黑盒偏微分方程求解器的端到端网格优化
探索了混合模型的可行性,将黑盒 PDE 求解器整合到可微分的深度图神经网络中,使用零阶梯度估计器训练模型,实验结果表明该方法的性能优于基准模型,并通过简单的热启动实现了加速收敛和改进的泛化性能。