Oct, 2023

深度 Ritz 自适应重要采样

PDF
TL;DR我们介绍了一种用于解决偏微分方程（PDEs）的 Deep Ritz 方法的自适应采样方法，该方法利用了两个深度神经网络，一个用于逼近 PDE 解，另一个是用于生成新的列点以改善训练集的深度生成模型。通过重要性采样准确地近似变分损失，该自适应方法相比原始的 Deep Ritz 方法在低正则性和高维度问题中提高了准确性，并通过一系列数值实验证明了其有效性。
发现论文，激发创造
  • Deep Ritz 方法：基于深度学习的数值算法用于求解变分问题

    提出一种基于深度学习的方法，即 Deep Ritz Method，用于数值求解变分问题，特别是由偏微分方程引起的问题，该方法自然非线性，自适应且能够在高维度下工作。通过在多个问题上拟合随机梯度下降方法，说明其应用性，包括一些本征值问题。

    Sep, 2017

  • 对抗自适应采样：统一 PINN 和最优输运用于 PDE 近似

    本文提出了一种新的最小最大 (PDEs) 方程求解方法，通过使用神经网络模型和深度生成模型来同时优化近似解及数据集，从而减少最终逼近的统计误差，此方法称为对抗性自适应采样 (adversarial adaptive sampling)，并是将两个组件融合的第一次的尝试。

    May, 2023

  • 用采样神经网络解决偏微分方程

    利用采样方法，从数据无关和数据相关的概率分布中提取隐含权重和偏置的神经网络，可以在训练时间和逼近精度方面取得重大突破，并且能够有效解决时变和静态的偏微分方程以及逆问题，带来了光谱收敛和无网格构建基函数等优势。

    May, 2024

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 基于鲁棒的随机微分方程变分公式的深度学习求解线性偏微分方程

    该研究探讨了利用 Monte Carlo 方法和深度学习解决高维偏微分方程（PDE）的有效算法，并提供了一些新方法，这些方法在利用梯度优化方法最小化相应损失时具有低差异性，并提高了所提到的现有深度学习方法的性能。

    Jun, 2022

  • 深度祈兹方法中使用 PGD 训练的三层神经网络的误差分析

    在这项工作中，我们专注于利用三层 tanh 神经网络在深 Ritz 方法 (DRM) 框架中解决具有三种不同边界条件的二阶椭圆方程，通过使用投影梯度下降 (PDG) 来训练三层网络并建立其全局收敛。我们对过参数化网络用于解决 PDE 问题的全面误差分析，同时包括近似误差、泛化误差和优化误差的估计，提供了样本大小 $n$ 的误差界限，并为投影梯度下降算法中的网络深度、宽度、步长和迭代次数的设置提供了指导。这项工作的假设是经典的，不需要对方程的解作任何附加假设，确保了我们结果的广泛适用性和普遍性。

    May, 2024

  • 通过高效的非参数替代品实现深度学习的自适应采样

    通过使用非参数核回归进行采样，我们提出了一种新颖的采样分布，它能够在神经网络训练过程中学习到有效的重要性评分。我们的采样算法在墙钟时间和准确性上优于基准算法。

    Nov, 2023

  • 稀疏噪声数据下参数偏微分方程的深度学习

    本文提出了一种新的框架，将神经网络、遗传算法和自适应方法相结合，应用于从稀疏噪声数据，不完整的备选库和空间或时间变化系数中发现偏微分方程。该方法在 Burgers 方程，对流扩散方程，波动方程和 KdV 方程上进行了测试，结果表明该方法对噪声数据具有鲁棒性，能够发现具有不完整备选库的参数 PDE。

    May, 2020

  • 基于多层卷积神经网络的参数化偏微分方程求解

    该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。

    Apr, 2023

  • 神经重要性采样

    本文介绍了基于深度神经网络的非线性独立分量估计（NICE）用于 Monte Carlo 积分中样本生成的应用，并介绍了分段多项式耦合变换、一块编码、基于梯度下降的 KL 和 χ2 散度优化等提高模型性能的改进方案。通过应用于生成自然图像以及在光传输模拟中的两种应用，证明了该方法在不同维度积分领域下具有快速、准确、高性能等特点。

    Aug, 2018