大规模线性系统中使用迭代求解器和预处理器，我们使用小型图神经网络作为预处理器并与传统方法和神经网络预处理进行对比实验证明我们的方法更优。

May, 2024

本文提出了一种基于自监管训练的图神经网络的数据驱动方法，用于加速科学计算和优化中遇到的大规模线性方程组求解，并且通过替换传统的手工制备预处理器，在收敛速度和计算效率方面实现了显著的提速。在我们的方法的核心是一种受稀疏矩阵理论启发的新型消息传递块。 我们评估了我们提出的方法在科学计算中产生的合成和真实问题上，结果表明 NeuralIF 在各种指标上都实现了竞争性的性能。

May, 2023

该研究介绍了一种新颖的预处理器，将 GNN 模型与多级域分解框架结合起来，以提高 Krylov 方法的效率，并产生一个混合求解器，可以以任何所需的精度收敛。

Feb, 2024

通过深度学习范式，基于有限元离散化的椭圆微分算符生成的矩阵系统，我们提出了一种新的稀疏近似逆（SPAI）预条件器。通过精心设计的自编码器，我们寻求在低维子空间中表示可学习的高性能预条件器分布，能够为这些系统生成 SPAI 预条件器，展现了非常有希望的结果。

May, 2024

提出了一种用于核机器的预处理共轭梯度方法，利用预处理器优化了核矩阵的条件数，提高了算法收敛性能和可扩展性。在迭代次数的极限下，该方法精确度高于现有的近似算法，同时在相同的计算成本下，该方法较之前方法表现更好。

Feb, 2016

稀疏矩阵计算是科学计算中无处不在的。近期对科学机器学习的兴趣使得人们自然而然地问及稀疏矩阵计算如何利用神经网络。然而，多层感知机（MLP）神经网络通常不适用于图形或稀疏矩阵计算。本文旨在为数值线性代数的读者介绍图神经网络（GNNs），并提供具体示例以说明如何使用 GNNs 完成许多常见的线性代数任务。同时，我们专注于使用计算核心如矩阵 - 向量乘积、插值、松弛方法和连接强度等迭代方法。期望通过本文使计算科学家了解如何将 GNNs 用于适应与稀疏矩阵相关的计算任务，并希望这种理解能够促进经典稀疏线性代数任务的数据驱动扩展。

Oct, 2023

提出了一种新的方法，通过利用从海森矩阵向量积或参数和梯度的有限差分得到的曲率信息，类似于 BFGS 算法，加速随机梯度下降（SGD）。该方法涉及两个预条件器：一个矩阵无关的预条件器和一个低秩近似预条件器。我们使用一种对随机梯度噪声稳健且不需要线性搜索或阻尼的标准在线更新两个预条件器。为了保持相应的对称性或不变性，我们将预条件器约束为某些连通的李群。李群的等变性质简化了预条件器拟合过程，而其不变性质消除了通常在二阶优化器中需要的阻尼需求。因此，参数更新的学习率和预条件器拟合的步长在自然数值化，它们的默认值在大多数情况下都能很好地工作。我们的方法为提高 SGD 的收敛速度提供了一个有希望的方向，且计算开销较低。我们证明，在多个现代深度学习架构上，基于预条件的 SGD（PSGD）在视觉，自然语言处理和强化学习任务上优于 SoTA。本文提供了复现玩具和大规模实验的代码。

Feb, 2024

本文研究了两种类型的预处理器和预处理随机梯度下降（SGD）方法，这些预处理器可以从一个框架中导出，并且可以在用户指定的任何矩阵李群上使用自然或相对梯度下降进行有效估计。

Sep, 2018

我们介绍了一种用于具有混合边界条件的 Poisson 方程的神经预处理迭代求解器。我们的求解器的核心是一个神经网络，用于逼近具有任意形状和混合边界条件的离散结构网格 Laplace 算子的逆运算。我们通过在不可压缩流体模拟中产生的具有挑战性的测试案例上展示，我们的方法优于最先进的求解器如代数多重网格和一些最近的神经预处理器。

Sep, 2023

该研究提出了一种基于图神经网络的框架，用于学习解决稀疏对称正定矩阵线性方程组的 AMG 延拓算子，实验结果表明，与传统的 AMG 相比，该方法具有更高的收敛速率，证明了神经网络在开发稀疏系统求解器方面的潜在用途。

Mar, 2020