基于物理信息的机器学习作为内核方法
最近机器学习理论的进展表明，使用过参数化的机器学习算法对带有噪声样本进行插值总是会导致不一致性。然而，这项工作却令人惊讶地发现，在描述物理定律的偏微分方程（PDEs）控制的监督任务中，使用物理知识驱动的学习进行插值的机器学习可以表现出良性过拟合和一致性。分析了解决涉及椭圆型 PDE 的线性逆问题的核岭（无岭）回归的渐进 Sobolev 范数学习曲线。结果显示，PDE 算子可以稳定方差并导致固定维度问题的良性过拟合，与标准回归设置形成对比。还研究了通过最小化不同 Sobolev 范数引入的各种归纳偏差作为隐式正则化的影响。值得注意的是，对于岭回归和无岭回归，收敛速度与具体的（平滑）归纳偏差无关。对于正则化最小二乘估计器，当适当地选择正则化参数时，所有（足够平滑的）归纳偏差都可以实现最优的收敛速度。平滑性要求恢复了先前在贝叶斯设置中发现的条件，并将结论扩展到最小范数插值估计器。
Jun, 2024
本篇调查报告讲述了物理资讯机器学习在机器学习与数学物理模型的交叉领域中的应用和发展，它以物理机制为前提，在模型结构、优化器、推断算法和特定领域的应用（如逆向工程设计和机器人控制）等方面将不同的物理先验形式编码成模型，随着跨领域的研究，增强模型精度，提高效率，并对相关学科领域解决长期存在的问题提供可贵帮助。
Nov, 2022
应用深度生成模型通过物理学定理来传递极高复杂物理系统中的不确定性。我们构建出一个隐式变分推断公式，并顺利地运用物理学原理作为模型输出的约束条件。这让模型在面对高成本数据采集以及通常小型训练数据集的物理系统建模时具备了一种可扩展的方法来描述随机输入或观测和物理系统输出的不确定性，并以传输动态为规范示例来验证了方法的有效性。
Dec, 2018
本文探讨了基于物理规律的计算机视觉任务的制定和方法，提出了计算机视觉流水线的分类系统，并分别研究了如何在每个阶段中引入基本物理规律和控制方程，在计算机视觉领域中的应用前景是制定更好的计算机视觉模型以提高物理可行性、准确性、数据效率和泛化能力。
May, 2023
本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。
Sep, 2021
通过结合机器学习技术和基于物理推理的方法，本文引入一系列可能的高斯过程模型，以提高基于有限数据的预测模型建立能力。这些方法可以显著减少对数据收集的依赖，并增强模型的可解释性。
Sep, 2023
本文回顾了科学机器学习的最新进展，特别关注物理启发式神经网络在预测物理系统结果和从噪声数据中发现隐藏的物理方面的有效性。我们提出了一个神经网络体系结构，该结构对梯度病理具有更强的鲁棒性，并提出了一个学习率退火算法，通过使用模型训练期间的梯度统计数据来平衡复合损失函数中不同项之间的相互作用。所有伴随本手稿的代码和数据都是公开可用的。
Jan, 2020
本文研究了梯度下降算法在物理信息机器学习方法（如 PINNs）中的行为，这些方法最小化与偏微分方程（PDEs）相关的残差。我们的关键结果是，训练这些模型的难度与特定微分算子的条件数密切相关。这一算子与底层 PDE 的微分算子的共轭平方有关。如果这一算子的条件数糟糕，会导致训练缓慢或不可行。因此，对这一算子进行预处理非常重要。我们通过严格的数学分析和经验评估来研究各种策略，解释它们如何更好地处理这一关键算子的条件，进而改善训练。
Oct, 2023