Jun, 2023

利用大规模在线学习训练深度代理模型

PDF
TL;DR该论文提出了一个开源在线培训框架，用于快速解决偏微分方程组，可以提高深度代理模型的数据多样性，对于 Fully connected neural networks、Fourier Neural Operator (FNO) 和 Message Passing PDE Solver 的预测准确度分别提高了 68％、16％和 7％。
发现论文，激发创造
  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • SciAI4Industry -- 利用深度学习解决行业规模问题中的偏微分方程 (PDEs)

    本研究介绍了一种基于 Julia 语言的分布式编程 API，该 API 可以在云上平行模拟训练数据，并展示了 PDE 问题领域分解的模型并行深度学习方法，在解决大规模 PDE 问题方面大幅提高了效率。

    Nov, 2022

  • 基于深度运算网络的代理建模的新数据生成方案

    在本研究中，我们提出了一种新颖的方法来减轻 DeepONets 训练数据生成的计算负担，通过使用高斯过程回归 (GPR) 来生成输出场，然后利用有限差分技术计算输入源场，从而显著减少了与 DeepONet 的训练数据集生成相关的计算成本。该方法可以推广到其他操作学习方法，并适用于多种边界值问题，以验证这种方法。

    Feb, 2024

  • 大规模集成运行中的深度替代模型的高吞吐量训练

    最近几年，深度学习方法在加速数值求解器方面取得了突破，提供了对物理世界的忠实但计算密集型的模拟。提出了一个开源框架，能够从大量集合运行的模拟中在线训练这些模型。该框架通过利用多层并行性生成丰富的数据集，避免了 I/O 瓶颈和存储问题，并通过直接流式传输生成的数据。训练储备池减轻了流式传输的固有偏差，同时最大化了 GPU 吞吐量。实验证明，采用该方法，在 2 小时内能够训练 8TB 的数据，并且准确度提高了 47％，批处理吞吐量增加了 13 倍，相比传统的离线过程。

    Sep, 2023

  • 具有物理知识的 DeepONets 用于参数演化方程的长时间积分

    本文提出了一种用于无配对输入输出观测的深度神经网络参数化的无穷维算子的学习框架，以实现对于参数 ODE/PDE 系统的精确长时间模拟，该方法虽然比传统数值解算法计算成本低，但可靠性更高且能够全局评估。

    Jun, 2021

  • 无需标记数据的高维代理建模和不确定性量化的物理约束深度学习

    提出一种基于物理约束深度学习的建模和不确定性量化方法，避免深度学习在小样本问题上的跨度不足，可以用于偏微分方程系统的解决和预测推断，并提供一些解释和量化手段。

    Jan, 2019

  • 基于深度学习的参数化偏微分方程代理模型：通过图神经网络处理几何变化

    基于图神经网络的代理模型在模拟时变偏微分方程方面具有计算效率和泛化能力，并有效替代传统的复杂求解器。

    Aug, 2023

  • 学习神经偏微分方程求解器并带收敛性保证

    本文提出了一种基于深度学习的域特定快速迭代求解器的方法，并经过训练在多种几何结构和边界条件下实现了 2-3 倍的速度提升。

    Jun, 2019

  • 使用深度学习求解高维偏微分方程

    通过使用神经网络逼近未知解的梯度来解决高维偏微分方程，该算法在包括非线性 Black-Scholes 方程、Hamilton-Jacobi-Bellman 方程和 Allen-Cahn 方程等方程上均取得了精确和低误差的结果。

    Jul, 2017

  • 使用结构化体积信息放大概率 PDE 模拟器

    应用偏微分方程模型到现实世界问题是科学机器学习的重要课题。本文提出一种结合基于有限体积法的离散化方案和数值线性代数技术的框架，通过实验验证在空间与时间方面的海啸模拟中该方法相比之前的基于插值法的技术有显著的性能提升。

    Jun, 2024