Oct, 2023

图神经网络与应用线性代数

PDF
TL;DR稀疏矩阵计算是科学计算中无处不在的。近期对科学机器学习的兴趣使得人们自然而然地问及稀疏矩阵计算如何利用神经网络。然而，多层感知机（MLP）神经网络通常不适用于图形或稀疏矩阵计算。本文旨在为数值线性代数的读者介绍图神经网络（GNNs），并提供具体示例以说明如何使用 GNNs 完成许多常见的线性代数任务。同时，我们专注于使用计算核心如矩阵 - 向量乘积、插值、松弛方法和连接强度等迭代方法。期望通过本文使计算科学家了解如何将 GNNs 用于适应与稀疏矩阵相关的计算任务，并希望这种理解能够促进经典稀疏线性代数任务的数据驱动扩展。
sparse matrix computationsneural networksgraph neural networksnumerical linear algebraiterative methods
发现论文，激发创造
  • 图神经网络：方法和应用综述

    本文介绍了图神经网络（GNNs）的设计管道，详细讨论了其各个组成部分的变体，对其应用进行了系统分类，并提出了四个开放性问题供未来研究。

    Dec, 2018

  • 图神经网络训练中的通信减少

    本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。

    May, 2020

  • 计算图神经网络：从算法到加速器的综述

    该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

    Sep, 2020

  • 图元网络：自适应、结构化的计算和记忆

    本文探讨了使用图神经网络模拟没有先验图形结构的空间过程，以及通过计算优化和泛化学习输入输出关系等相关问题。

    Apr, 2019

  • 多功能基于图的稀疏实现层

    本文介绍了一种稀疏实现的图信息层，以提高图神经网络的计算效率和可伸缩性，通过利用邻接矩阵的稀疏性来显著减少内存使用，同时引入了一种灵活的通用形式的图信息层，使其适用于图节点的子集。

    Mar, 2024

  • 使用循环图神经网络学习图算法

    针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

    Dec, 2022

  • 从线性代数中学习：一种用于共轭梯度解算器的图神经网络预处理器设计方法

    大规模线性系统中使用迭代求解器和预处理器，我们使用小型图神经网络作为预处理器并与传统方法和神经网络预处理进行对比实验证明我们的方法更优。

    May, 2024

  • 学习图神经网络的离散结构

    本文提出了一种联合学习图结构和图卷积网络参数的方法，从而可以在不完整、损坏或无法使用图的场景中应用图卷积网络，并通过实验证明，该方法的性能显著优于相关方法。

    Mar, 2019

  • 局部观察，全局分类：使用 GNNs 识别稀疏矩阵结构

    本文介绍了一种使用图卷积网络生成稀疏矩阵结构分类器的框架，能够有效地匹配数据中的矩阵结构与适当的数据格式，同时通过样本和特征来识别矩阵结构，实现了对一系列代表性稀疏矩阵形状的 97% 分类精度。

    Jul, 2023

  • 图表，卷积和神经网络：从图滤波器到图神经网络

    本文利用图信号处理来表征图神经网络（GNNs）的表征空间，讨论了图卷积滤波器在 GNNs 中的作用，并展示了这类滤波器所建立的任何架构都具有置换等变性和对网络拓扑的稳定性的基本属性。然后，我们讨论了扩展了边变量和自回归移动平均图滤波器的 GNNs 以及它们的属性，并最终研究了在推荐系统和学习机器人群体的分散式控制器中使用 GNNs 的相关研究。

    Mar, 2020