神经多网格架构

Feb, 2024

Neural Multigrid Architectures

Vladimir Fanaskov

TL;DR我们提出了一种简便的无矩阵神经网络结构用于多重网格方法。该结构简单到可以在不到五十行的代码中实现，但包含许多不同的多重网格求解器。我们认为，固定的神经网络没有密集层不能实现高效的迭代方法。因此，标准的训练协议不能生成竞争优势的求解器。为了克服这个困难，我们使用参数共享和层序列化。所得到的网络可以在数以千计未知元的线性问题上进行训练，并在百万未知元的问题上保持其效率。从数值线性代数网络的训练角度来看，它对应于找到几何多重网格方法的最佳平滑器。我们在几个二阶椭圆方程上演示了我们的方法。对于测试的线性系统，与基本线性多重网格方法的 Jacobi 平滑器相比，我们得到的误差传播矩阵的谱半径较小，是其 2 到 5 倍。

Abstract

We propose a convenient matrix-free neural architecture for the multigrid method. The architecture is simple enough to be implemented in less than fifty lines of code, yet it encompasses a large number of distinct multigrid solvers. We argue that a fixed neural network without dense la

matrix-free neural architecture multigrid method iterative method parameter sharing numerical linear algebra network

发现论文，激发创造

多重网格神经架构

本研究提出了一种基于多重网格结构的卷积神经网络，能够在不同尺度空间上操作输入和输出，实现任务的动态路由和内部注意力机制，以及通过逐级概括将上下文信息融合到网络中。在分类和语义分割等多项任务中得到了相对较好的表现表明，相对于传统的基于单一网格的卷积神经网络结构，基于多重网格的设计方案更加高效且灵活。

Nov, 2016

Navier-Stokes 方程的神经网络多重网格求解器

DNN-MG 是一种深度神经网络多重网格求解器，旨在提高 Navier-Stokes 方程的计算效率，通过使用多重网格方法在粗网格上经典求解，同时使用具有记忆的循环神经网络校正直接插值得到的解，从而避免在细网格上昂贵的计算。该方法通过高度紧凑的神经网络实现了计算时间的缩短，并具有良好的推广性。

Aug, 2020

Multigrid 神经存储

本文提出了一种新颖的方法，为神经网络赋予出现、长期、大规模的内存，该方法针对神经网络与外部存储器库通过精心设计的控制器和手动设计的注意机制进行连接的策略进行了区分。我们的内存是内部、分布式、与计算共存、隐式寻址，而且比之前的方法明显更简单。经过层次化空间组织，参数化卷积，并分布在整个拓扑中的计算的存储单元，我们观察到了一种连贯记忆子系统的出现。

Jun, 2019

基于多重网格增强的深度学习方法求解亥姆霍兹方程：紧致隐层优化可扩展性

本研究提出一种基于深度学习的迭代方法，用于解决高波数下的离散异质 Helmholtz 方程。该方法结合了经典的迭代多重网格求解器和卷积神经网络（CNN），通过预处理得到一个学习的神经求解器，它比标准的多重网格求解器更快、更可扩展。

Jun, 2023

学习优化多重网格 PDE 求解器

本文提出了一个学习多重网格求解器的框架，使用一个参数化 PDE 族的单一映射来训练一个神经网络，从而构造出适用于不同规模问题的最优细分矩阵，提高了算法的收敛速率。

Feb, 2019

基于分层矩阵的多尺度神经网络

引入一种基于 H 矩阵结构的新多尺度人工神经网络，可将其推广到非线性情况，并且能够高效逼近非线性薛定谔方程和 Kohn-Sham 密度泛函理论等离散非线性映射。

Jul, 2018

使用图神经网络学习代数多重网格

该研究提出了一种基于图神经网络的框架，用于学习解决稀疏对称正定矩阵线性方程组的 AMG 延拓算子，实验结果表明，与传统的 AMG 相比，该方法具有更高的收敛速率，证明了神经网络在开发稀疏系统求解器方面的潜在用途。

Mar, 2020

MGiaD: 多维多重网格。通过分辨率和通道维度的粗化实现高效和鲁棒性

本论文研究了深度神经网络的过拟合问题和多重网格结构在其中的应用，提出了一种多重网格启发式体系结构框架，可以在维度间利用多重网格结构来实现线性权重复杂度缩放和大幅减少权重数量，进而在网络复杂度较低时，通过减少权重数量降低过拟合问题，相比于现有的 ResNet 架构实现更好的图像分类结果。

Nov, 2022

加速三维椭圆偏微分方程有限元求解器的代数多重网格算法的深度学习算法

提出了一种基于深度学习的算法，利用人工神经网络调整强度阈值参数，减小求解偏微分方程时代数多重网格方法（AMG）的计算开销，实验结果在含有异质的扩散系数和杨氏模量问题的训练集外的测试集上能节省 30% 左右的计算时间。

Apr, 2023

同调神经网络：一个适用于多变量复杂性的稀疏架构

本研究应用基于网络的信息过滤技术设计了一种新的深度神经网络单元，其具有由基础数据的同调结构构建的稀疏高阶图形架构，同时证明它在传统难以解决的领域，如表格数据和时间序列回归问题中的有效性，仅使用一小部分参数即可超越最先进的机器学习和深度学习模型的结果。

Jun, 2023