重新思考 Graph Lottery Tickets:图稀疏度很重要
提出了一种统一的 GNN 稀疏化 (UFG) 框架,同时剪枝图邻接矩阵和模型权重,以有效加速大规模图上的 GNN 推理,并将 lottery ticket 假设推广到 GNN,定义了图 lottery ticket (GLT) 作为核心子数据集和稀疏子网络对的一对,从原始的 GNN 和全密集图中通过迭代应用 UFS 联合鉴定。在各种 GNN 架构和不同任务的数据集上进行了实验验证,表明在不影响预测性能的前提下,GLT 能够实现小和大规模图数据集上的 MACS 节约。
Feb, 2021
该研究基于强彩票模型假设(SLTH)证明了初始化模型中存在高效子网络,通过修剪卷积神经网络(CNN)而无需进行权重训练。论文通过采用多层拓扑和非共享蒙版方法在图神经网络(GNNs)中实现了 M-Sup 标量修剪蒙版,并通过自适应设置修剪阈值的策略,揭示了训练有素的前馈网络的非训练循环网络的性能相当。同时,通过在多个数据集上进行评估,包括 Open Graph Benchmark(OGB),该研究确立了 SLTH-GNN 的三重优势:高稀疏性、竞争性能和高内存效率,显示了其适用于高效图处理的能力。
Dec, 2023
基于 Graph Lottery Tickets 和 adversarially robust graph sparsification 的研究,我们发现稀疏的邻接矩阵和稀疏的图神经网络能够显著减少推理延迟和计算占用空间。针对不同的结构扰动攻击,我们提出了 ARGS 框架,通过优化新的损失函数,对邻接矩阵和网络权重进行裁剪,以提高鲁棒性。我们的评估结果表明,ARGS 生成的 Graph Lottery Tickets 能够在不同的训练时间结构攻击下显著提高鲁棒性。
Dec, 2023
每个图都有一个极度稀疏的骨干,图学习算法可以在此骨干上训练,并且能够达到与完整图相当甚至优于其性能,该研究系统地研究了直接影响图学习算法性能的 8 个关键指标,并提出了在任意图中寻找这些骨干的简单高效算法。
Dec, 2023
本文提出一种新方法,通过迭代的裁剪与一系列 “后处理技术”,找到带有结构化稀疏性的获奖子网络,从而在不影响模型精度的情况下,显著提高模型的推理速度。
Feb, 2022
通过研究神经网络模型剪枝,提出了 “Lottery Ticket Hypothesis”,发现神经网络的初始化和学习率等条件会影响最优子网络的提取,同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练,实验证明该方法在多种深度神经网络结构上表现出色。
Feb, 2021
本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架,综合剪枝了图结构、节点特征和模型参数,同时引入重生过程以重新建立重要的连接,实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。
Jul, 2022
该研究使用彩票票据原理,提出了一种适用于深度脉冲神经网络(SNN)的神经剪枝技术,即运用早期时间(ET)票据来减少彩票票据原理的搜索时间,该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。
Jul, 2022
本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练,并通过实验证明了其有效性。
Mar, 2022
本文通过分析目标函数的几何结构和样本复杂度,理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下,训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比,从而提供了对中奖票证明的形式化证明。
Oct, 2021