Jul, 2023

基于残差的注意力和信息瓶颈理论在 PINNs 中的连接

PDF
TL;DR本文提出一种有效的、无需梯度加权的物理知识神经网络（PINNs）加速收敛的机制，并通过研究权重的演化来解释它与信息瓶颈理论的关系，我们的方法在典型的基准案例中一致实现了相对 $L^{2}$ 误差为 $10^{-5}$，这种新颖的关联可能为理解 PINNs 和神经算子的训练和稳定性奠定基础。
physics-informed neural networkspinnsattention mechanismoptimizerinformation bottleneck theory
发现论文，激发创造
  • 利用软注意力机制的自适应物理知识神经网络

    本文提出了一种名为 SA-PINNs 的自适应训练方法，通过使用可训练的自适应权重和基于高斯过程回归的连续权重映射，使神经网络学习重点区域并获得了很好的性能，在多项线性和非线性基准测试问题中表现出色，是当前最先进的 PINN 算法之一。

    Sep, 2020

  • 物理信息神经网络：用宽网络和有效激活减小残差损失

    本研究分析了物理信息神经网络（PINNs）中的剩余损失，并发现了通过研究其在临界点处的特性，找到了实现有效训练的条件。我们的分析揭示了一个良好高阶导数的激活函数在最小化剩余损失中起关键作用，进而提供了设计和选择 PINNs 有效激活函数的理论依据，并解释了为什么周期性激活函数在某些情况下表现出有希望的性能。最后，通过在几个偏微分方程上进行一系列实验验证了我们的发现。

    May, 2024

  • PINNs 中的学习：相变、全扩散和泛化

    通过梯度信噪比（SNR）研究全连接神经网络的学习动态，探讨了 Adam 等一阶优化器在非凸目标中的行为，通过信息瓶颈理论中的漂移 / 扩散相，聚焦梯度均匀性，确定了一个被称为 “总扩散” 阶段的第三个阶段，特征为学习速率和梯度均匀，该阶段表现出 SNR 急剧增加，样本空间中的均匀残差和最快的训练收敛，提出了一种基于残差的重新加权方案，在二次损失函数中加速此扩散，增强泛化，还探索了信息压缩现象，指出在总扩散阶段会引起激活函数的显著饱和压缩，深层次经历几乎无信息损失，通过基于物理知识的神经网络（PINNs）的实验数据支持，这突显了梯度均匀性的重要性，因为它们基于偏微分方程样本的相互依赖，我们的发现表明，识别相变可以改进机器学习优化策略以获得更好的泛化能力。

    Mar, 2024

  • 光谱偏差和内核任务对齐在物理信息神经网络中的应用

    物理信息神经网络是一种有效求解偏微分方程的新方法，通过理论框架将其与高斯过程回归等价，并推导出由其架构选择所引起的核项来增强其预测能力，并通过源项的谱分解量化其隐含偏差

    Jul, 2023

  • 物理信息神经网络在频谱范围和导数阶数上的收敛行为研究

    该研究通过对不同频率、组合和方程的简单正弦函数进行一系列数值实验，发现在标准化条件下，具有任意阶微分方程的物理知情神经网络确实存在明显的谱偏差，并随微分方程的阶数而增加。

    Jan, 2023

  • 物理知识指导神经网络的可能失效模式表征

    本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。

    Sep, 2021

  • 使用双目标优化的 PINN 训练：数据损失和残差损失之间的权衡

    利用物理信息神经网络（PINNs）进行 COVID-19 预测的多目标优化方法，对数据损失和残差损失分别作为两个独立的目标函数进行优化，并建立了扩展的易感 - 感染 - 恢复（SIR）模型来预测未来的感染情况，并将其与常规的有限差分方法进行了比较。

    Feb, 2023

  • 鲁棒的物理信息神经网络

    我们介绍了一种鲁棒版本的物理启发式神经网络（RPINN）来近似求解偏微分方程（PDEs），该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数，在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试，结果表明 RPINN 是一种鲁棒的方法，其损失函数与解的真实误差在能量范数下相符，因此我们可以知道训练过程进行得如何，并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。

    Jan, 2024

  • 研究用于自适应原位采样的引导信息在 PINNs 中的应用

    通过对区域内一组残差函数的评估，物理信息神经网络 (PINNs) 提供了通过目标函数的最小化来获取偏微分方程和系统的近似解的方法。本文考虑了选择这些点的几种策略，并研究了它们对方法整体精度的影响，指出没有单一的 “最优” 方法，但我们展示了在使用固定数量的残差评估时，一些重要指标如何提高结果质量。通过使用两个基准测试问题：Burgers' 方程和 Allen-Cahn 方程，我们详细说明了这些方法。

    Apr, 2024

  • 物理启发式神经网络的增广拉格朗日松弛方法

    本研究提出了一种基于增广拉格朗日方法的 Physics-Informed Neural Networks (AL-PINNs) 算法，用于优化偏微分方程的残差问题，并通过数值实验证明了该方法相较于现有的自适应损失平衡算法具有更小的相对误差。

    Apr, 2022