Mar, 2024

PINNs 中的学习：相变、全扩散和泛化

PDF
TL;DR通过梯度信噪比（SNR）研究全连接神经网络的学习动态，探讨了 Adam 等一阶优化器在非凸目标中的行为，通过信息瓶颈理论中的漂移 / 扩散相，聚焦梯度均匀性，确定了一个被称为 “总扩散” 阶段的第三个阶段，特征为学习速率和梯度均匀，该阶段表现出 SNR 急剧增加，样本空间中的均匀残差和最快的训练收敛，提出了一种基于残差的重新加权方案，在二次损失函数中加速此扩散，增强泛化，还探索了信息压缩现象，指出在总扩散阶段会引起激活函数的显著饱和压缩，深层次经历几乎无信息损失，通过基于物理知识的神经网络（PINNs）的实验数据支持，这突显了梯度均匀性的重要性，因为它们基于偏微分方程样本的相互依赖，我们的发现表明，识别相变可以改进机器学习优化策略以获得更好的泛化能力。
发现论文，激发创造
  • 基于残差的注意力和信息瓶颈理论在 PINNs 中的连接

    本文提出一种有效的、无需梯度加权的物理知识神经网络（PINNs）加速收敛的机制，并通过研究权重的演化来解释它与信息瓶颈理论的关系，我们的方法在典型的基准案例中一致实现了相对 $L^{2}$ 误差为 $10^{-5}$，这种新颖的关联可能为理解 PINNs 和神经算子的训练和稳定性奠定基础。

    Jul, 2023

  • 物理知识指导神经网络的可能失效模式表征

    本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。

    Sep, 2021

  • MultiAdam：面向多尺度物理信息神经网络的参数无关缩放优化器

    本文讨论了采用 Physics-informed Neural Networks 方法求解偏微分方程时遇到的挑战，提出了 MultiAdam 优化器，通过大量实验测试表明，MultiAdam 在预测精度上相较于已有算法有 1-2 个数量级的提升。

    Jun, 2023

  • 训练 PINNs 中的挑战：损失空间的视角

    本论文探讨了训练物理信息神经网络（PINNs）中的挑战，强调了损失函数在训练过程中的作用，并研究了由残差项中的微分算子引起的病态条件所带来的最小化 PINN 损失函数的困难。我们比较了梯度下降优化器 Adam、L-BFGS 以及它们的组合 Adam+L-BFGS，并展示了 Adam+L-BFGS 的优越性，同时引入了一种新的二阶优化器 NysNewton-CG（NNCG），它显著提高了 PINN 的性能。从理论上讲，我们的工作阐明了病态微分算子和 PINN 损失中的病态条件之间的联系，并展示了结合一阶和二阶优化方法的好处。我们的工作为训练 PINNs 提供了有价值的洞见和更强大的优化策略，这有助于改善 PINNs 在解决困难的偏微分方程中的效用。

    Feb, 2024

  • 扩散模型中的泛化源于几何自适应的谐波表示

    通过基于分数的逆扩散算法生成的高质量样本提供了证据，表明尽管遭受维度灾难的困扰，用于降噪训练的深度神经网络（DNN）可以学习高维密度。然而，关于训练集记忆化的最近报导引发了一个问题，即这些网络是否正在学习数据的 “真实” 连续密度。在本文中，我们展示了在非重叠的数据集子集上训练的两个降噪 DNN 学习到几乎相同的评分函数，从而学习到相同的密度，并且只需要非常少的训练图像。这种强大的泛化表明 DNN 架构和 / 或训练算法中的强大归纳偏差与数据分布的特性相一致。我们通过对这些内容进行分析来证明这一点，证明了去噪器在适应底层图像的基础上执行了一个收缩操作。对这些基础的检查揭示了轮廓线和均匀图像区域中的振荡谐波结构。我们通过证明即使在训练于低维流形等图像类别的情况下，这些经过训练的去噪器也会生成这种几何自适应谐波表示来表明它们在归纳偏差方面具有偏好。此外，我们还展示了当在已知最优基础为几何自适应谐波的常规图像类别上进行训练时，网络的去噪性能接近最优。

    Oct, 2023

  • 大深度量子神经网络中的动力学相变

    量子神经网络的训练动力学可以用广义的 Lotka-Volterra 方程描述，导致了一个动力学相变。当代价函数的目标值从上方穿过最小可达值到下方时，动力学从冻结核相位变为冻结误差相位，显示了量子神经正切核和总误差之间的二元性。在两个相位中，对于固定点的收敛是指数级的，而在临界点时则是多项式级的。我们通过将训练动力学的 Hessian 映射到虚时间中的 Hamiltonian，揭示了相变的本质是二阶的，指数 ν=1，表现出临界点的尺度不变性和闭合间隙。我们还通过在输出态趋近稳态时的限制 Haar 集合上提供了一个非微扰的解释相变的分析理论。这些理论发现在 IBM 量子设备上得到了实验验证。

    Nov, 2023

  • 物理信息神经网络在频谱范围和导数阶数上的收敛行为研究

    该研究通过对不同频率、组合和方程的简单正弦函数进行一系列数值实验，发现在标准化条件下，具有任意阶微分方程的物理知情神经网络确实存在明显的谱偏差，并随微分方程的阶数而增加。

    Jan, 2023

  • 光谱偏差和内核任务对齐在物理信息神经网络中的应用

    物理信息神经网络是一种有效求解偏微分方程的新方法，通过理论框架将其与高斯过程回归等价，并推导出由其架构选择所引起的核项来增强其预测能力，并通过源项的谱分解量化其隐含偏差

    Jul, 2023

  • 动量消减物理信息神经网络中的谱偏差影响

    本文介绍了物理指导神经网络算法在解决涉及偏微分方程的问题方面的应用，重点研究了在随机梯度下降优化算法下演化的神经网络所用的神经切向核，证实该神经核显著减少了谱偏差的影响，并且通过对广泛神经网络的训练，实验结果表明在高频项存在的情况下，宽度合适的神经网络仍可以收敛于理想的解决方案。

    Jun, 2022

  • 物理知识驱动神经网络的单次迁移学习

    本研究提出了一种用于转移学习的物理学启发式神经网络（PINNs）通用框架，可用于解决普通和偏微分方程线性系统的一次推断，解决了传统数值方法的许多问题，并通过解决多个实际问题展示了这一神经网络的高效性。

    Oct, 2021