弱正交约束下的多项式增强神经网络 (PANNs) 在功能和 PDE 逼近中的应用

Jun, 2024

弱正交约束下的多项式增强神经网络 (PANNs) 在功能和 PDE 逼近中的应用

Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation

PDF

Madison Cooley, Shandian Zhe, Robert M. Kirby, Varun Shankar

TL;DR我们提出了多项式增强神经网络（PANNs），一种结合了深度神经网络（DNNs）和多项式逼近的新型机器学习架构。通过这些实验，我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能，同时在回归具有有限平滑性的函数时，也比多项式和基于 DNN 的回归方法具有更高的准确性。

Abstract

We present polynomial-augmented neural networks (PANNs), a novel machine learning architecture that combines deep neural networks (DNNs) with a polynomial approximant. PANNs combine the strengths of DNNs (flexibi

polynomial-augmented neural networks deep neural networks polynomial approximation orthogonality constraints partial differential equations

发现论文，激发创造

低精度多项式逼近的神经网络：提高准确性的新见解与技术

通过使用多项式逼近替换神经网络中的非多项式函数，并结合高精确逼近，本论文提出的多项式逼近神经网络（PANN）在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外，通过对 PANN 的独立性进行调查，论文提出了提高 PANN 推理准确度的解决方案，并通过实验证明了解决方案的有效性。

Feb, 2024

多项式网络正则化在图像识别中的应用

本文介绍了一种新型的 Polynomial Networks，使用强正则化方法使其能够在 6 个基准测试中达到与 ResNet 相似的性能，同时更加参数高效且不需要元素激活函数进行训练，旨在探索其正则化方案的具体研究。

Mar, 2023

证明人工神经网络克服了在数值逼近 Black-Scholes 偏微分方程中的维度灾难

本文揭示了人工神经网络可用于数值逼近 Black-Scholes PDEs 的实际应用，并证明了它能够在高维函数逼近中克服 “维度灾难”。

Sep, 2018

神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

Sep, 2018

深度多项式神经网络

本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网，它是多项式神经网络，通过具有共享因子的张量集合分解来估计自然表示的未知参数，可用于许多任务和信号的表达建模，并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。

Jun, 2020

用于非线性偏微分方程的稀疏深度神经网络

本文通过使用深度神经网络结合稀疏规则化技术，针对非线性偏微分方程的解进行了数值研究，结果表明该方法在求解 Burgers 方程和 Schrödinger 方程时能够生成稀疏且准确的解。

Jul, 2022

机器学习优化的正交基分段多项式逼近

利用分段多项式来近似 1D 轨迹规划中电子凸轮设计的函数，结合现代机器学习优化器，特别是梯度下降方法，利用正交多项式基函数以及创新的正则化方法，在模型参数优化和连续性优化方面取得了明显提升的收敛性能。

Mar, 2024

深度神经网络和参数化偏微分方程的理论分析

本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

Mar, 2019

一个自适应增广拉格朗日方法用于训练具有物理约束和平等约束的人工神经网络

采用增广 Lagrange 方法（ALM）解决前向和反向问题，为了进一步提高计算效率和节省计算成本，采用小批量训练。

Jun, 2023

学习可微分的处理硬约束系统的求解器

提出一种实用的方法，通过神经网络来精确实现偏微分方程控制，利用可微分优化和隐式函数定理来有效实施物理约束，模型能够在域内提供准确满足期望物理约束的连续解。

Jul, 2022