Dec, 2023

FALCON：特征 - 标签约束的图神经网络压缩方法用于内存高效的 GNNs

PDF
TL;DR我们提出了一种拓扑感知的图减少技术 FALCON，它能保持特征 - 标签分布，并结合其他记忆减少方法（如小批量 GNN 和量化）进一步降低内存使用，通过与 SOTA 方法进行对比评估，我们广泛的结果表明 FALCON 能够在 GNN 模型上显著减少多种公共数据集的内存使用，同时实现相等的预测质量。
发现论文，激发创造
  • 基于设计图的高效自动机器学习

    提出了一种名为 FALCON 的 AutoML 方法，利用设计图模型空间和图神经网络来进行模型设计的优化搜索。该方法在多个实验中表现出了和一次性方法相当的时间成本，同时相比最佳基线实现了平均 3.3% 的性能提升。

    Oct, 2022

  • 图神经网络的图压缩算法

    本篇研究提出并研究了图卷积神经网络 (GNNs) 的图压缩问题，旨在将原始大图压缩成小型合成图以提高神经模型训练的时间性能，通过优化梯度匹配损失和设计一种策略同时压缩节点特征和结构信息，有效地将不同图数据集压缩成信息丰富的较小图并将其用于训练各种 GNN 体系结构，测试结果在 Reddit 上可达到 95.3％，在 Flickr 上可达到 99.8％，在 Citeseer 上可达到 99.0％，同时将其图的尺寸缩小了 99.9％以上。

    Oct, 2021

  • FALCON: 面向神经网络剪枝的 FLOP 感知组合优化

    神经网络的计算需求逐渐增加，同时对资源有限的设备提出了部署挑战。网络剪枝是在保持性能的同时减小模型大小和计算成本的解决方案。本文提出了 FALCON，一种基于组合优化的网络剪枝框架，同时考虑了模型准确性、FLOPs 和稀疏性约束。我们的算法可以解决含有数百万参数的问题实例，并证明在固定 FLOP 预算下，FALCON 相比其他剪枝方法具有更高的准确性。此外，在逐步剪枝设置中，我们的框架表现优于现有的剪枝方法，强调了对有效网络剪枝而言，结合 FLOP 和稀疏性约束的重要性。

    Mar, 2024

  • 图神经网络特征演化的神经倒塌视角

    本文探讨了图神经网络中的特征演变与拓扑关系，并通过 “神经崩溃” 现象展示了节点分类中的该现象。作者进行了实证研究和理论分析，发现理论模型要求图满足一定严格的结构条件才能得到准确的收缩，并最终通过对图神经网络的研究比较了不同层之间的特征变化与光谱方法的差异。

    Jul, 2023

  • 无需训练的图神经网络与标签作为特征的能力

    我们提出了无需训练且可选择性训练的图神经网络（TFGNNs），用于跨样本节点分类。我们首先倡导标签作为特征（LaF）的技术，证明了 LaF 能够显著增强图神经网络的表达能力。我们基于这一分析设计了 TFGNNs，并在实验中证实了 TFGNNs 在无需训练的情况下优于现有的 GNNs，并且收敛所需的训练迭代次数少于传统的 GNNs。

    Apr, 2024

  • 信息瓶颈原理下的联邦图压缩

    我们提出并研究了图神经网络的联邦图压缩新问题，通过将图压缩的梯度匹配过程分解为客户端梯度计算和服务器端梯度匹配，大大减轻了客户端的计算成本，并结合信息瓶颈原理，在联邦图训练中实现了会员隐私的保护。

    May, 2024

  • 简洁图压缩

    通过简化图卷积网络在图浓缩过程中的度量对齐方法，提出了一种简化的图浓缩方法，该方法在性能表现上与现有方法相当，并且在速度上能够实现高达 10 倍的加速。

    Mar, 2024

  • 通过结构简化实现高效的点云图神经网络

    本文提出了使用轻量级的特征提取层来提高图神经网络模型的效率，从而能够在移动设备上高效地运行，同时实现了一定的性能提升和资源消耗降低。

    Aug, 2021

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • 重新思考和加速图形精简：一种无需训练的带类别分割方法

    通过 Class-partitioned Graph Condensation (CGC) 方法，能够在更有效的压缩过程中实现最先进的性能。

    May, 2024