快速深度图神经网络

AAAINov, 2019

Fast and Deep Graph Neural Networks

Claudio Gallicchio, Alessio Micheli

TL;DR本文提出了一种有效构建深度图神经网络的方法。该方法利用动力系统中固定点的思想，通过递归神经网络实现，并采用深度架构组织递归单元。我们证明了即使在没有训练递归连接的情况下，小型的深度图神经网络的性能也能达到或超过当前最先进的图分类任务水平。

Abstract

We address the efficiency issue for the construction of a deep graph neural network (GNN). The approach exploits the idea of representing each input graph as a fixed point of a dynamical system (implemented through a recurrent neural network), and leverages a deep architectural organiz

efficiency deep graph neural network recurrence state-of-the-art performance classification

发现论文，激发创造

通过结构简化实现高效的点云图神经网络

本文提出了使用轻量级的特征提取层来提高图神经网络模型的效率，从而能够在移动设备上高效地运行，同时实现了一定的性能提升和资源消耗降低。

Aug, 2021

自动图神经网络

本研究提出自动设计深层 GNN 的方法，其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题，并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络，在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明，GNNs 的生成结果具有最先进的性能。

Nov, 2020

使用循环图神经网络学习图算法

针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

Dec, 2022

动态脉冲图神经网络

该研究论文提出了一种名为动态神经图网络（Dynamic Spiking Graph Neural Networks）的框架，用于解决动态图表示学习中的信息丢失和内存要求问题，通过将早期信息直接传递到最后一层以进行信息补偿，并在动态图环境中扩展了隐式微分以适应内存要求，并通过在三个大规模实际动态图数据集上的大量实验证明了其在动态节点分类任务上的有效性与较低的计算成本。

Dec, 2023

隐式图神经网络

本文提出了一种名为 “Implicit Graph Neural Networks（IGNN）” 的图学习框架，其利用 Perron-Frobenius 理论来确保该框架的良好性，并利用隐式微分得到一种可行的投影梯度下降法来训练该框架，实验证明 IGNN 可以稳定捕捉长程依赖并优于现有的 GNN 模型。

Sep, 2020

使用 1000 层图神经网络进行训练

本研究提出了可逆连接、分组卷积、权重绑定和平衡模型以提高图神经网络的内存和参数效率，并发现可逆连接结构与深层神经网络架构相结合，使得训练的过参数化 GNNs 在多个数据集上显著优于现有方法。

Jun, 2021

图形算法的神经执行

通过在算法空间中训练 Graph Neural Networks 来解决基于图结构的问题，使用基于最大化的信息传递神经网络来实现离散决策，同时实现了任务迁移并提升学习效果。

Oct, 2019

图神经网络分布式系统的演化及其在图处理和深度学习中的起源：一项调查

本文总结和分类大规模图神经网络解决方案的重要方法和技术，并建立了图神经网络系统、图处理系统和深度学习系统之间的联系。

May, 2023

分布式图神经网络训练：综述

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

高效有效的隐式动态图神经网络

Implicit Dynamic Graph Neural Network (IDGNN) 是一种针对动态图的新型隐式神经网络模型，通过提出一个等价的双层优化问题和一种高效的单循环训练算法来克服计算上的困难，以在分类和回归任务中展现出优于现有模型的性能，并在性能保持的同时获得高达 1600 倍的加速。

Jun, 2024