Dec, 2023

层叠张量神经网络在参数化偏微分方程的简化建模中的应用

PDF
TL;DR张量神经网络 (TNNs) 结合了多线性代数和深度学习的成果，能够实现高维问题的高效降维模型。本文描述了一种将多个 TNNs 融合成一个更大网络的深度神经网络架构，旨在解决比单个 TNN 更广泛的问题类别。作者在具有三个独立变量和三个参数的参数型 PDE 上评估了该架构，其中三个参数分别对应一个 PDE 系数和描述域几何的两个量。STNN 在参数范围内提供了准确的降维解描述，并显示出对训练数据之外的参数值有意义的泛化证据。最后，尽管 STNN 架构相对简单且不依赖具体问题，但它可通过正则化来融合特定问题的特征，如对称性和物理建模假设。
tensorial neural networkstnnsstacked tensorial neural networkreduced-order modelsparametric pde
发现论文，激发创造
  • 基于量子启发式张量神经网络求解偏微分方程

    本文介绍了如何通过 Tensor Neural Networks 来解决 Partial Differential Equations 的问题，实现了与 Deep Neural Network 同样精度的情况下更小的参数及更快的训练速度，并以 Black-Scholes-Barenblatt equation 模型为例进行了测试验证。

    Aug, 2022

  • 张量神经网络：神经网络的泛化和模型压缩应用

    该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

    May, 2018

  • 张量神经网络在回归问题中的高效方法

    引入张量神经网络（TNN）来处理非参数回归问题，通过其独特的子网络结构，有效地促进变量分离，从而提高复杂未知函数的近似性；与传统的前馈网络（FFN）和径向基网络（RBN）相比，TNN 在近似准确性和泛化能力方面表现优异，尽管参数规模相似；我们的方法的一个关键创新是将统计回归和数值积分集成到 TNN 框架中，从而实现了与回归函数相关的高维积分的高效计算；此进展的意义扩展到更广泛的应用领域，特别是在需要精确高维数据分析和预测的场景。

    Jun, 2024

  • 用于非线性偏微分方程的稀疏深度神经网络

    本文通过使用深度神经网络结合稀疏规则化技术，针对非线性偏微分方程的解进行了数值研究，结果表明该方法在求解 Burgers 方程和 Schrödinger 方程时能够生成稀疏且准确的解。

    Jul, 2022

  • 基于多层卷积神经网络的参数化偏微分方程求解

    该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。

    Apr, 2023

  • 小参数偏微分方程的双尺度神经网络

    我们提出了一种两尺度神经网络方法，用于使用物理相关神经网络 (PINNs) 解决具有小参数的偏微分方程 (PDEs)。我们直接将小参数纳入神经网络的结构中。该方法能够简单地解决具有小参数的 PDEs，无需添加傅里叶特征或其他计算上繁重的截断参数搜索。各种数值实例表明，该方法能够合理准确地捕捉由小参数引起的解中的大导数特征。

    Feb, 2024

  • TSONN：面向时间步进的神经网络用于求解偏微分方程

    通过将时间步进方法与深度学习相结合，本研究将原始的 ill-conditioned 优化问题转化为一系列基于给定伪时间间隔的 well-conditioned 子问题，从而大幅提高了模型训练的收敛性，提供了一个稳健的基于优化的 PDE 求解器。与基于传统网格的数值方法相比，在神经网络优化方法框架下，本方法展示了时间步进方法的几个新颖特性和优势，同时显著提高了显式方案的时间步长，并且隐式方案的实现方式与显式方案一样简单。

    Oct, 2023

  • STN: 通过结构感知训练和自适应压缩实现可扩展的张量网络

    本文提出了适用于任意网络架构的可扩展张量网络（STN），通过一种数据驱动的方法动态和自适应地调整模型大小和分解结构，从而达到更高的压缩性能和灵活性，综合实验结果表明其在参数效率方面表现优异。

    May, 2022

  • 利用赝哈密顿神经网络学习偏微分方程

    本文将伪哈密顿神经网络方法扩展到偏微分方程，生成包含三个神经网络的模型，分别模拟代表守恒、耗散和外力的项，并包括可学习的离散卷积算子，数值结果表明 PHNN 的卓越性能。此外，由于 PHNN 模型由三个有不同物理解释的部分组成，反演时可以分别研究每个部分，具有良好的泛化能力。

    Apr, 2023

  • 修正的深度神经网络克服非线性僵硬系统的零和博弈中非平滑价值函数的维度诅咒

    该研究表明，对于具有强刚性系数的广泛控制随机微分方程，相关零和博弈的价值函数可以由深度人工神经网络来表示，该网络的复杂度在状态方程的维度和所需精度的倒数方面都呈多项式增长。

    Mar, 2019