我们介绍了一种鲁棒版本的物理启发式神经网络（RPINN）来近似求解偏微分方程（PDEs），该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数，在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试，结果表明 RPINN 是一种鲁棒的方法，其损失函数与解的真实误差在能量范数下相符，因此我们可以知道训练过程进行得如何，并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。

Jan, 2024

本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。

Sep, 2021

使用 LSODA 算法生成数据集，离线训练神经网络来估计 SIR 模型中的参数，并进行通用性测试和进一步优化，以在比物理信息神经网络更少的时间内实现治疗高传染疾病的参数估计。

Mar, 2023

提出了一种基于多任务优化范式的物理信息神经网络（PINNs）训练框架，通过解决多个辅助任务来提升主任务的性能，应用于交通密度预测问题的训练中，实验结果表明相比传统方式，该框架显著提高了 PINN 的性能。

Jul, 2023

本研究分析了物理信息神经网络（PINNs）中的剩余损失，并发现了通过研究其在临界点处的特性，找到了实现有效训练的条件。我们的分析揭示了一个良好高阶导数的激活函数在最小化剩余损失中起关键作用，进而提供了设计和选择 PINNs 有效激活函数的理论依据，并解释了为什么周期性激活函数在某些情况下表现出有希望的性能。最后，通过在几个偏微分方程上进行一系列实验验证了我们的发现。

May, 2024

本论文探讨了训练物理信息神经网络（PINNs）中的挑战，强调了损失函数在训练过程中的作用，并研究了由残差项中的微分算子引起的病态条件所带来的最小化 PINN 损失函数的困难。我们比较了梯度下降优化器 Adam、L-BFGS 以及它们的组合 Adam+L-BFGS，并展示了 Adam+L-BFGS 的优越性，同时引入了一种新的二阶优化器 NysNewton-CG（NNCG），它显著提高了 PINN 的性能。从理论上讲，我们的工作阐明了病态微分算子和 PINN 损失中的病态条件之间的联系，并展示了结合一阶和二阶优化方法的好处。我们的工作为训练 PINNs 提供了有价值的洞见和更强大的优化策略，这有助于改善 PINNs 在解决困难的偏微分方程中的效用。

Feb, 2024

该研究论文介绍了物理知识驱动的神经网络在求解偏微分方程中的应用，并提出了一种新的区域优化训练范式，通过在连续邻域区域进行模型优化，有效降低了模型的泛化误差，尤其对于高阶约束的偏微分方程。该新范式产生了一种实用的训练算法 RoPINN，通过简单且有效的 Monte Carlo 抽样方法在信任区域内平衡了抽样效率和泛化误差。实验证明，RoPINN 显著提升了各种 PINNs 在多种偏微分方程上的性能，而无需额外的反向传播或梯度计算。

May, 2024

通过提出一系列最佳实践，改进物理信息神经网络（PINNs）的训练效率和整体准确性，还展示了不同架构选择和训练策略如何影响结果模型的测试准确性。

Aug, 2023

本文提出一种有效的、无需梯度加权的物理知识神经网络（PINNs）加速收敛的机制，并通过研究权重的演化来解释它与信息瓶颈理论的关系，我们的方法在典型的基准案例中一致实现了相对 $L^{2}$ 误差为 $10^{-5}$，这种新颖的关联可能为理解 PINNs 和神经算子的训练和稳定性奠定基础。

Jul, 2023

本研究提出了一种方法，可以将带有初始和边界条件的微分方程问题简化为仅由微分方程描述的问题，并基于广义函数构造了新的加权损失函数，以提高物理启发神经网络的准确性。

Apr, 2023