Aug, 2023

基于信息受控神经网络的多尺度深度学习框架

PDF
TL;DR使用物理信息神经网络（PINN）来解决具有多尺度问题的新框架，通过重新构建损失函数并应用不同数量的幂运算到损失项上以使损失函数中的项具有相近的数量级，并且引入分组正则化策略以解决不同子域中变化显著的问题，该方法使得具有不同数量级的损失项可以同时优化，推动了 PINN 在多尺度问题中的应用。
发现论文，激发创造
  • 基于物理知识的神经网络在高频和多尺度问题上的应用及迁移学习

    提供了使用转移学习来增强 PINN 的鲁棒性和收敛性的训练方法，通过两个案例研究发现转移学习可以有效训练 PINN 在低频问题到高频问题的近似解，同时减少了网络参数，所需数据点和训练时间。同时提供了优化器选择和使用转移学习解决更复杂问题的指南。

    Jan, 2024

  • 基于物理知识的神经网络框架用于障碍相关方程建模

    本文探索使用 PINNs 求解障碍相关的偏微分方程，通过多种场景对线性和非线性、规则和不规则障碍下的 PDE 进行求解，表现良好。

    Apr, 2023

  • 鲁棒的物理信息神经网络

    我们介绍了一种鲁棒版本的物理启发式神经网络（RPINN）来近似求解偏微分方程（PDEs），该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数，在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试，结果表明 RPINN 是一种鲁棒的方法，其损失函数与解的真实误差在能量范数下相符，因此我们可以知道训练过程进行得如何，并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。

    Jan, 2024

  • iPINNs: 物理信息神经网络的增量学习

    本文提出了一种增量 PINNs (iPINNs) 的方法，它可以连续学习多个偏微分方程（PDE），从而提高了对预测的准确性。

    Apr, 2023

  • 物理知识指导神经网络的可能失效模式表征

    本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。

    Sep, 2021

  • 用模型集成改进物理知识神经网络的训练

    该论文提出了使用集成的物理信息神经网络 (PINN) 来解决解偏微分方程 (PDEs) 的问题，通过逐步扩展解决方案间隔以及结合 PINN 模型集中观察点的解决方案的一致性来稳定 PINN 的培训，并使结果明显优于目前存在的时间自适应策略的 PINN 算法。

    Apr, 2022

  • 基于超网络的元学习低秩物理知情神经网络

    通过提出一种轻量级低秩 PINN 和相关的超网络元学习算法，本研究有效地解决了在各种工程和应用科学应用中需要对多个输入参数进行重复数值模拟的问题，并展示了该方法在克服 PINN 的 “失败模式” 方面的有效性。

    Oct, 2023

  • 通过物理知识指导的神经网络科学机器学习：现状和未来展望

    文章综述了物理学启发的神经网络（PINN）的文献，并介绍了其特点和优缺点。此外，研究还包括了使用 PINN 以及它的许多其他变体解决 PDE、分数方程、积分微分方程和随机 PDE 的广泛应用领域，以及它们的定制化方法，如不同的激活函数、梯度优化技术、神经网络结构和损失函数结构。虽然该方法被证明在某些情况下比有限元方法更可行，但它仍面临理论问题尚未解决。

    Jan, 2022

  • 解决双曲型偏微分方程的深度学习框架：第一部分

    开发了一种基于物理信息的深度学习框架，用于近似解非线性偏微分方程，可以在不预先了解解的性质或不连续点的位置的情况下发展出震荡或不连续的解。

    Jul, 2023

  • PINNsFormer：基于 Transformer 的物理信息神经网络框架

    提出了一种名为 PINNsFormer 的基于 Transformer 的新型框架，通过在 Transformer 模型中利用多头注意力机制捕捉时间依赖关系，准确地近似了偏微分方程（PDE）的解。PINNsFormer 不仅适应了输入向量到伪序列和基于点的 PINNs 损失到序列 PINNs 损失的转变，还配备了一种名为 Wavelet 的新型激活函数，通过深度神经网络预估了傅里叶分解。通过大量实验，验证了 PINNsFormer 在多种情景下捕获 PDE 解的能力，并与传统 PINNs 相比，以极小的计算和内存成本，实现了更高的近似精度。

    Jul, 2023