本文回顾了科学机器学习的最新进展，特别关注物理启发式神经网络在预测物理系统结果和从噪声数据中发现隐藏的物理方面的有效性。我们提出了一个神经网络体系结构，该结构对梯度病理具有更强的鲁棒性，并提出了一个学习率退火算法，通过使用模型训练期间的梯度统计数据来平衡复合损失函数中不同项之间的相互作用。所有伴随本手稿的代码和数据都是公开可用的。

Jan, 2020

本文提出了使用隐式随机梯度下降方法来训练物理学指导神经网络，并经过理论和实验分析证明该方法能够有效地提高训练过程的稳定性，并比 SGD 和 Adam 等其他优化方法更有效地解决训练动态中的数值僵硬问题。

Mar, 2023

本文提出一种基于物理约束神经网络（hPINNs）的新的深度学习方法用于解决基于偏微分方程（PDEs）和附加不等式的拓扑优化，该方法拥有硬约束，可在不需要偏微分方程求解器的情况下处理大量维度较高的问题。使用 hPINN 解决全息术和 Stokes 流动问题时，相较于基于伴随方法和数值 PDE 解算器的传统 PDE 约束优化方法，它们通常更简单、更平滑。

Feb, 2021

本文提出了一种新型的混合反向问题复合框架，将深度神经网络的高表现力与现有偏微分方程数值算法相结合，通过语义自编码器的自定义层，将计算数学、机器学习和模式识别技术融合在一起，实现了域特定知识和物理约束的综合应用，解决了大量数据中的未知字段这个问题，称之为混合反向 PDE 网络 (BiPDE 网络)，并在一维和二维空间中的泊松问题中，以及一维的时间依赖和非线性 Burgers 方程中，应用和证明了其可行性和噪声鲁棒性。

Jan, 2020

应用基于微分方程的方法，通过将优化算法与物理系统相联系的思想，研究如何分析梯度下降、坐标梯度下降、牛顿等算法及其加速变体在机器学习中的动态，此分析适用于更广泛的算法和优化问题，超越凸性和强凸性的限制。

Dec, 2016

本文利用深度前馈人工神经网络近似求解复杂几何下的偏微分方程，并演示了如何修改反向传播算法来计算网络输出对空间变量的偏导数。此方法基于一种假设解法，只需要前馈神经网络和梯度优化方法，如梯度下降或拟牛顿方法，可以作为网格法无法使用时的有效替代方案。此外，本文还阐述了深度相比于浅度神经网络的优势及其他收敛增强技术的设想。

Nov, 2017

通过结合经典数值解法和物理感知框架的方法，本研究在三维非规则几何体上测试了基于图神经网络的解决偏微分方程问题的可行性。

Oct, 2023

本文讨论了如何使用物理引导生成对抗网络（PG-GAN）来解决深度神经网络输出不满足物理方程问题的方法。

Apr, 2023

本文研究并解决了深度神经网络（如物理信息神经网络）训练过程中可能出现的多尺度动态和尺度失衡引发的故障模式，通过提出一种简单而有效的逆狄利克雷加权策略来缓解问题，并在各种应用中进行了验证和比较。

Jul, 2021

借鉴物理模拟的平衡梯度流和修改反向传播的方法，提出了改进梯度场优化的替代向量场，实现精确控制信号并解决复杂任务。

May, 2024