Oct, 2021

VQ-GNN：一种使用矢量量化扩大图神经网络的通用框架

HTML
PDF
TL;DR文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN，为了解决图神经网络中的邻居爆炸问题和扩展性问题，该方法可以有效地保留所有传递给 mini-batch 的节点的信息，同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入，同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能，在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。
发现论文，激发创造
  • 半监督学习中图卷积网络的深入洞察

    本文研究机器学习领域的图半监督学习，提出了基于图卷积网络的深度学习方法，解决了图卷积网络机制不清晰及需要大量标注数据的问题，并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证，研究结果具有实际应用价值。

    Jan, 2018

  • Cluster-GCN：一个用于训练深度和大型图卷积网络的高效算法

    本文介绍了Cluster-GCN算法，通过利用图聚类结构，将邻域搜索限制在一个由图聚类算法确定的密集子图中，从而实现大规模GCN的SGD训练，在保证可比性测试精度的情况下显著提高了内存和计算效率。

    May, 2019

  • L$^2$-GCN: 图卷积网络的层次和学习有效训练

    本研究提出了一种高效的图形卷积网络（GCN）训练框架L-GCN，该框架通过在训练期间解耦功能聚合和功能转换，大大降低了时间和内存复杂度，并提出了L²-GCN，用于每个层学习控制器，可以自动调整每个层的训练时期。实验表明，在不依赖于数据集大小的一致内存使用情况下，L-GCN比现有技术快至少一个数量级，同时保持可比的预测性能。

    Mar, 2020

  • 深度图神经网络与浅层子图采样器

    本研究提出了一种“深GNN，浅采样器”设计规则，通过利用深层次的GNN在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了GNN的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

    Dec, 2020

  • 训练更深层次图神经网络的技巧：一项综合基准研究

    本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度GNN在大型数据集上的最新成果。

    Aug, 2021

  • BNS-GCN: 使用分区并行和随机边界节点抽样的图卷积网络高效全图训练

    本研究提出一种名为BNS-GCN的简单而有效的方法，采用随机边界节点采样，提高了分布式GCN训练的吞吐量16.2倍，减少了内存使用量高达58％，同时保持全图精度的稳定性，为实现大规模GCN训练开辟了一条新的途径。

    Mar, 2022

  • A^2Q：面向图神经网络的聚合感知量化

    本文提出了一种基于图神经网络特征的聚合感知混合精度量化方法（$ m A^2Q$）, 通过学习自适应的节点位宽来实现模型压缩，模型应用于节点与图级别任务时，相较于FP32模型可以达到高达18.6x压缩比且精度几乎不降低。同时，本文提出的方法相较于当前最先进的量化方法，在节点级别和图级别任务中可分别达到11.4%和9.5%的精度提升，以及专用硬件上可达到2倍的加速比。

    Feb, 2023

  • 向量量化图自编码器

    本文提出了一种基于图神经网络的离散自编码器，Vector-Quantized Graph Auto-Encoder(VQ-GAE)，用于模拟图的分布，通过利用图神经网络的等变性、局部结构和全局结构，以离散向量化的方式将图对象映射到潜在空间中捕捉整体结构，并在图形生成方面显示出优秀的性能。

    Jun, 2023

  • VQGraph：用于连接GNNs和MLPs的图向量量化

    通过使用结构感知的图标记器和基于软标记分配的基于令牌的蒸馏目标函数，VQGraph构建了一个功能强大的图表示空间，从而在GNN和MLP之间进行了知识传递，并在多个图数据集上实现了新的最好性能，分别提高了828倍的推理速度和3.90%和28.05%的准确率。

    Aug, 2023

  • AGS-GNN：面向图神经网络的属性引导抽样

    我们提出了AGS-GNN，这是一种新颖的属性引导采样算法，用于图神经网络（GNNs），在处理同质图和异质图时利用节点特征和连接结构，通过采样相似和多样的邻居样本适应同质性和异质性。

    May, 2024