Apr, 2020

深度神经网络求解参数扩散方程

PDF
TL;DR本文探讨了近似理论对神经网络在数值分析实际学习问题中的影响，并以基于机器学习的参数化偏微分方程求解为例进行了全面的数值研究。研究表明，参数空间维度与求解子流形的内在维度对模型性能有微弱的影响。通过测试数据的优化和采样来确立测试用例之间的可比性。研究发现，近似理论对数值分析学习问题的实际行为产生了重要影响。
neural networksnumerical analysismachine learningparametric partial differential equationsapproximation theory
发现论文，激发创造
  • 深度神经网络和参数化偏微分方程的理论分析

    本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

    Mar, 2019

  • 神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

    这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

    Sep, 2018

  • 复杂地形中偏微分方程的统一深度人工神经网络方法

    本文利用深度前馈人工神经网络近似求解复杂几何下的偏微分方程，并演示了如何修改反向传播算法来计算网络输出对空间变量的偏导数。此方法基于一种假设解法，只需要前馈神经网络和梯度优化方法，如梯度下降或拟牛顿方法，可以作为网格法无法使用时的有效替代方案。此外，本文还阐述了深度相比于浅度神经网络的优势及其他收敛增强技术的设想。

    Nov, 2017

  • 利用人工神经网络解决参数化偏微分方程问题

    该研究论文展示了如何使用基于神经网络的方法用于数值偏微分方程中处理随机系数的问题，通过神经网络解决 PDE 问题从而简单和精确地表示物理量。

    Jul, 2017

  • 物理信息操作学习与有限元法的参数学习偏微分方程的融合

    利用物理知识驱动的深度学习方法在异质固体中解决参数化偏微分方程，它的关键是建立复杂的热导率分布、温度分布和热流分量之间的联系，通过固定边界条件，在这项工作中，我们独立于有限元方法等经典求解器，并通过基于离散弱形式的损失函数定义方法给出出色的结果，该损失函数是一个代数方程，大大提高了训练效率。通过将我们的方法与标准有限元方法进行基准测试，我们展示了使用训练有素的神经网络在温度和通量剖面方面进行准确且更快的预测，我们还展示了在未知情况下，与纯数据驱动方法相比，所提出的方法具有更高的准确性。

    Jan, 2024

  • 基于物理信息的深度学习和压缩选点法，高维扩散反应方程的实际存在理论和数值计算

    利用稀疏技术和随机采样的最新进展，本研究基于深度学习开发和分析了一个高维偏微分方程求解器，理论和数值结果表明其在稳定性和准确性方面可以与一个新型的压缩谱逼近方法竞争，并证明了存在一类可训练的深度神经网络，具有适当的网络结构和样本复杂度的充分条件，并以对数或最坏情况下的线性扩展在维度上稳定且准确地逼近扩散 - 反应型偏微分方程的高概率。

    Jun, 2024

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 偏微分方程与深度神经网络的结合：综述

    本文对深度神经网络用于偏微分方程 (PDEs) 求解的现状和潜在应用进行了综述，分析和分类了相关方法在科学研究和工程场景中的应用，介绍了这一领域的来源、历史、特点、类型以及未来趋势。

    Oct, 2022

  • 参数化偏微分方程的模型简化和神经网络

    发展了一种数据驱动输入输出图像无限维空间的近似方法，使用了神经网络和深度学习并结合模型缩减的思想，该方法在概念上定义于无限维空间上，并在实践中对计算所需的有限维空间的维度稳健，通过对输入输出映射的一类概率测度的选择，证明了所提出近似方法的收敛性。数值实验表明了该方法的有效性，并将其与现有的算法相比较。

    May, 2020

  • 一种公理化的深度神经网络 PDE 模型

    深度神经网络与偏微分方程之间的关系启发我们研究了深度神经网络的偏微分方程模型的一般形式。在一些合理的假设下，我们证明演化算子实际上由对流 - 扩散方程决定。这个模型为几个有效的网络提供了数学解释。此外，我们还展示了对流 - 扩散模型提高了鲁棒性并减小了 Rademacher 复杂度。基于对流 - 扩散方程，我们设计了一种适用于 ResNets 的新训练方法。实验证实了所提出方法的性能。

    Jul, 2023