求解带有神经网络的偏微分方程过程中的损失跃迁
利用物理相关的神经网络计算李雅普诺夫函数,将李雅普诺夫条件编码为偏微分方程,并使用神经网络函数进行训练,分析了李雅普诺夫和祖博夫偏微分方程的解的解析性质,提供了可以通过可满足性求解器轻松验证的学习到的神经网络李雅普诺夫函数的充分条件,使得局部稳定分析和吸引域估计能在大范围内进行正式验证,通过多个非线性示例说明所提出的框架可以优于使用半定规划获得的传统的和式李雅普诺夫函数。
Dec, 2023
该研究分析了使用神经网络解决一类椭圆型偏微分方程的无导数损失方法。该方法利用费曼 - 卡克公式,结合随机游走和其相应的平均值。我们研究了费曼 - 卡克公式中与时间间隔相关的效果,以及与计算效率、可训练性和采样误差的关系。我们的分析表明,训练损失的偏差与时间间隔和神经网络的空间梯度成正比,与游走大小成反比。我们还表明,时间间隔必须足够长以训练网络。这些分析结果告诉我们可以根据时间间隔的最优下限尽可能选择较小的游走大小。我们还提供数值测试来支持我们的分析。
Sep, 2023
利用采样方法,从数据无关和数据相关的概率分布中提取隐含权重和偏置的神经网络,可以在训练时间和逼近精度方面取得重大突破,并且能够有效解决时变和静态的偏微分方程以及逆问题,带来了光谱收敛和无网格构建基函数等优势。
May, 2024
Neural IVP 是基于 ODE 的 IVP 解算器,它可防止神经网络病态,时间复杂度与参数数目线性增长,并提供了解决使用神经网络解决复杂 PDEs 的方案。
Apr, 2023
本文提出了针对基于部分积分 - 微分方程训练物理启发网络的问题的解决方案,包括三种类型的解决方法,证实了当前的近似方法的存在偏差,提出了新的延迟目标方法,证明其可以以可比的质量获得精确的解决方案。
May, 2023
神经网络方法在科学和工程领域中解决偏微分方程具有显著优势,尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质,通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度,实验证明从训练角度看,自动微分能够在解决偏微分方程的问题上胜过有限差分法。
May, 2024
本研究提出了一种方法,可以将带有初始和边界条件的微分方程问题简化为仅由微分方程描述的问题,并基于广义函数构造了新的加权损失函数,以提高物理启发神经网络的准确性。
Apr, 2023
本文对深度神经网络用于偏微分方程 (PDEs) 求解的现状和潜在应用进行了综述,分析和分类了相关方法在科学研究和工程场景中的应用,介绍了这一领域的来源、历史、特点、类型以及未来趋势。
Oct, 2022
本文综述了传统的 PDE 数值逼近方法以及近期的基于机器学习的方法,重点介绍了以神经算子为中心的关键构架,这是一种学习 PDE 解算子的新方法,与传统方法相比具有 1000 倍的计算速度优势,这些新的计算方法可以在解决许多基础和应用物理问题方面带来巨大优势。
Jan, 2023
利用物理知识驱动的深度学习方法在异质固体中解决参数化偏微分方程,它的关键是建立复杂的热导率分布、温度分布和热流分量之间的联系,通过固定边界条件,在这项工作中,我们独立于有限元方法等经典求解器,并通过基于离散弱形式的损失函数定义方法给出出色的结果,该损失函数是一个代数方程,大大提高了训练效率。通过将我们的方法与标准有限元方法进行基准测试,我们展示了使用训练有素的神经网络在温度和通量剖面方面进行准确且更快的预测,我们还展示了在未知情况下,与纯数据驱动方法相比,所提出的方法具有更高的准确性。
Jan, 2024