图神经网络的统一彩票假设

Feb, 2021

A Unified Lottery Ticket Hypothesis for Graph Neural Networks

Tianlong Chen, Yongduo Sui, Xuxi Chen, Aston Zhang, Zhangyang Wang

TL;DR提出了一种统一的 GNN 稀疏化 (UFG) 框架，同时剪枝图邻接矩阵和模型权重，以有效加速大规模图上的 GNN 推理，并将 lottery ticket 假设推广到 GNN，定义了图 lottery ticket (GLT) 作为核心子数据集和稀疏子网络对的一对，从原始的 GNN 和全密集图中通过迭代应用 UFS 联合鉴定。在各种 GNN 架构和不同任务的数据集上进行了实验验证，表明在不影响预测性能的前提下，GLT 能够实现小和大规模图数据集上的 MACS 节约。

Abstract

With graphs rapidly growing in size and deeper graph neural networks (GNNs) emerging, the training and inference of GNNs become increasingly expensive. Existing network weight pruning algorithms cannot address the main space and computational bottleneck in GNNs, caused by the size and

graph neural networks gnn inference acceleration model compression sparsification graph lottery ticket

发现论文，激发创造

重新思考 Graph Lottery Tickets：图稀疏度很重要

本研究提出了两种方法来提高图神经网络 (GNN) 在图稀疏度高的情况下的性能：(1) 使用辅助 loss 以涵盖整个邻接矩阵的所有元素来指导边缘裁剪，(2) 将裁剪过程形式化为最小化 - 最大化优化问题来提高稳健性。此外，本研究还得出了可传递的图彩票假设，并证明了提出的算法优于现有方法，实验证明了传递的图彩票假设。

May, 2023

多层覆盖与折叠图神经网络及强彩票

该研究基于强彩票模型假设（SLTH）证明了初始化模型中存在高效子网络，通过修剪卷积神经网络（CNN）而无需进行权重训练。论文通过采用多层拓扑和非共享蒙版方法在图神经网络（GNNs）中实现了 M-Sup 标量修剪蒙版，并通过自适应设置修剪阈值的策略，揭示了训练有素的前馈网络的非训练循环网络的性能相当。同时，通过在多个数据集上进行评估，包括 Open Graph Benchmark（OGB），该研究确立了 SLTH-GNN 的三重优势：高稀疏性、竞争性能和高内存效率，显示了其适用于高效图处理的能力。

Dec, 2023

图彩票假设：发现稀疏且信息丰富的图结构

每个图都有一个极度稀疏的骨干，图学习算法可以在此骨干上训练，并且能够达到与完整图相当甚至优于其性能，该研究系统地研究了直接影响图学习算法性能的 8 个关键指标，并提出了在任意图中寻找这些骨干的简单高效算法。

Dec, 2023

早鸟 GCNs：通过早期抽奖实现图网络协同优化，以更高效地训练和推断 GCN

我们提出了一种基于抽奖思想的 GCN 图稀疏化方法，并发现了在 GCN 稀疏化过程中出现的图中的 “早起鸟票”（GEB）。我们开发了 GEBT 框架，该框架可通过绘制联合早起鸟票来同时稀疏化 GCN 图和模型，并在多个 GCN 模型和数据集上验证了 GEB 的解决方案的有效性，取得了显著的性能提升。

Mar, 2021

自适应时空图神经网络中的图中优胜模型的预训练鉴定

通过引入 “图中的中奖号码（GWT）” 的概念，我们提出了一种新颖的方法来显著提高自适应空间 - 时间图神经网络（ASTGNNs）的计算效率。通过采用预先确定的星形拓扑作为 GWT 来训练，我们在减少计算需求的同时，保持高性能的模型表现。我们的方法通过消除详尽的训练、修剪和重新训练周期，以及在各种数据集上的实证验证，可实现与完整模型相当的性能与大大降低的计算成本。此外，我们深入探讨了来自谱图理论角度的 GWT 的有效性，提供了实质性的理论支持。这一进展不仅证明了 ASTGNNs 中存在高效子网络的存在，而且扩大了资源受限环境中 LTH 的适用性，标志着图神经网络领域的重大进展。

Jun, 2024

稀疏而强大：构建对抗性鲁棒的图表彩票

基于 Graph Lottery Tickets 和 adversarially robust graph sparsification 的研究，我们发现稀疏的邻接矩阵和稀疏的图神经网络能够显著减少推理延迟和计算占用空间。针对不同的结构扰动攻击，我们提出了 ARGS 框架，通过优化新的损失函数，对邻接矩阵和网络权重进行裁剪，以提高鲁棒性。我们的评估结果表明，ARGS 生成的 Graph Lottery Tickets 能够在不同的训练时间结构攻击下显著提高鲁棒性。

Dec, 2023

图神经网络稀疏训练的全面图剪枝

本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

Jul, 2022

剪枝元素的对抗擦除：迈向更好的图形彩票

我们提出了一种基于 Adversarial Complementary Erasing（ACE）框架的 Graph Lottery Ticket（GLT）方法，用于在研究中获取有价值的信息，并提升深度图神经网络（GNNs）在大型输入图上的性能。实验结果表明，ACE-GLT 在各种任务上优于现有的 GLT 搜索方法。

Aug, 2023

TEDDY: 根据度数进行边缘修剪的歧视策略

TEDDY 是一种基于边缘稀疏化和结构信息的一次性稀疏化框架，超过了常规的迭代方法，在只利用图结构而不考虑节点特征的情况下实现了图抽奖券的高效率和快速实现。

Feb, 2024

深度生成模型中的中奖彩票

本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

Oct, 2020