使用量化感知训练的高效神经 PDE 求解器

ICCVAug, 2023

使用量化感知训练的高效神经 PDE 求解器

Efficient Neural PDE-Solvers using Quantization Aware Training

Winfried van den Dool, Tijmen Blankevoort, Max Welling, Yuki M. Asano

TL;DR近年来，神经网络应用于求解偏微分方程，作为传统数值方法的替代品，这在这个有百年历史的数学领域中被认为是潜在的范式转变。然而，从实际应用的角度来看，计算成本仍然是一个重要的瓶颈。在神经 PDE 求解器中，我们采用了最先进的量化方法来降低计算成本的潜力。我们展示了在保持性能的同时，通过量化网络权重和激活可以成功降低推理的计算成本。我们在四个标准 PDE 数据集和三个网络架构上的结果表明，量化感知训练适用于各种设置和三个数量级的浮点运算。最后，我们通过实验证明，只有引入量化技术，才能几乎总是实现计算成本与性能之间的帕累托最优。

Abstract

In the past years, the application of neural networks as an alternative to classical numerical methods to solve partial differential equations has emerged as a potential paradigm shift in this century-old mathema

neural networks partial differential equations computational cost quantization methods pareto-optimality

发现论文，激发创造

元学习物理信息神经网络以高效求解新的偏微分方程

我们提出了一种基于神经网络的元学习方法，用于高效解决偏微分方程（PDE）问题。该方法通过元学习来解决各种各样的 PDE 问题，并将这些知识用于解决新的 PDE 问题。我们使用神经网络将 PDE 问题编码成问题表示，其中，控制方程由偏导数的多项式函数的系数表示，边界条件由一组点条件对表示。我们将问题表示作为神经网络的输入来预测解决方案，通过神经网络的前向过程，我们能够高效地预测特定问题的解决方案，而无需更新模型参数。为了训练我们的模型，我们最小化在基于物理知识的神经网络框架中适应 PDE 问题时的预期误差，通过这种方式，即使解决方案未知，我们也能评估误差。我们证明了我们提出的方法在预测 PDE 问题的解决方案方面优于现有方法。

Oct, 2023

基于量子启发式张量神经网络求解偏微分方程

本文介绍了如何通过 Tensor Neural Networks 来解决 Partial Differential Equations 的问题，实现了与 Deep Neural Network 同样精度的情况下更小的参数及更快的训练速度，并以 Black-Scholes-Barenblatt equation 模型为例进行了测试验证。

Aug, 2022

解决偏微分方程的快速分辨率无关的神经技术

本文综述了传统的 PDE 数值逼近方法以及近期的基于机器学习的方法，重点介绍了以神经算子为中心的关键构架，这是一种学习 PDE 解算子的新方法，与传统方法相比具有 1000 倍的计算速度优势，这些新的计算方法可以在解决许多基础和应用物理问题方面带来巨大优势。

Jan, 2023

评估科学应用中神经 PDE 的不确定量化方法

神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。

Nov, 2023

用采样神经网络解决偏微分方程

利用采样方法，从数据无关和数据相关的概率分布中提取隐含权重和偏置的神经网络，可以在训练时间和逼近精度方面取得重大突破，并且能够有效解决时变和静态的偏微分方程以及逆问题，带来了光谱收敛和无网格构建基函数等优势。

May, 2024

潜在神经 PDE 求解器：用于偏微分方程的降阶建模框架

利用神经网络在粗粒化离散空间中学习系统的动力学，并通过降维简化了时间模型的训练过程，同时展示了与在全序空间上操作的神经 PDE 求解器相比，该方法具有竞争力的准确性和效率。

Feb, 2024

使用物理感知神经网络解决反问题偏微分方程

本文提出了一种新型的混合反向问题复合框架，将深度神经网络的高表现力与现有偏微分方程数值算法相结合，通过语义自编码器的自定义层，将计算数学、机器学习和模式识别技术融合在一起，实现了域特定知识和物理约束的综合应用，解决了大量数据中的未知字段这个问题，称之为混合反向 PDE 网络 (BiPDE 网络)，并在一维和二维空间中的泊松问题中，以及一维的时间依赖和非线性 Burgers 方程中，应用和证明了其可行性和噪声鲁棒性。

Jan, 2020

利用人工神经网络解决参数化偏微分方程问题

该研究论文展示了如何使用基于神经网络的方法用于数值偏微分方程中处理随机系数的问题，通过神经网络解决 PDE 问题从而简单和精确地表示物理量。

Jul, 2017

神经网络量化白皮书

介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

Jun, 2021

神经网络量化的高效训练方法

提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

Dec, 2019