图彩票假设:发现稀疏且信息丰富的图结构
提出了一种统一的 GNN 稀疏化 (UFG) 框架,同时剪枝图邻接矩阵和模型权重,以有效加速大规模图上的 GNN 推理,并将 lottery ticket 假设推广到 GNN,定义了图 lottery ticket (GLT) 作为核心子数据集和稀疏子网络对的一对,从原始的 GNN 和全密集图中通过迭代应用 UFS 联合鉴定。在各种 GNN 架构和不同任务的数据集上进行了实验验证,表明在不影响预测性能的前提下,GLT 能够实现小和大规模图数据集上的 MACS 节约。
Feb, 2021
本研究提出了两种方法来提高图神经网络 (GNN) 在图稀疏度高的情况下的性能:(1) 使用辅助 loss 以涵盖整个邻接矩阵的所有元素来指导边缘裁剪,(2) 将裁剪过程形式化为最小化 - 最大化优化问题来提高稳健性。此外,本研究还得出了可传递的图彩票假设,并证明了提出的算法优于现有方法,实验证明了传递的图彩票假设。
May, 2023
TEDDY 是一种基于边缘稀疏化和结构信息的一次性稀疏化框架,超过了常规的迭代方法,在只利用图结构而不考虑节点特征的情况下实现了图抽奖券的高效率和快速实现。
Feb, 2024
本文提出一种新方法,通过迭代的裁剪与一系列 “后处理技术”,找到带有结构化稀疏性的获奖子网络,从而在不影响模型精度的情况下,显著提高模型的推理速度。
Feb, 2022
基于 Graph Lottery Tickets 和 adversarially robust graph sparsification 的研究,我们发现稀疏的邻接矩阵和稀疏的图神经网络能够显著减少推理延迟和计算占用空间。针对不同的结构扰动攻击,我们提出了 ARGS 框架,通过优化新的损失函数,对邻接矩阵和网络权重进行裁剪,以提高鲁棒性。我们的评估结果表明,ARGS 生成的 Graph Lottery Tickets 能够在不同的训练时间结构攻击下显著提高鲁棒性。
Dec, 2023
抽奖票假设(LTH)指出,一个密集的神经网络模型包含一个高度稀疏的子网络(即获奖票),当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明,但仍然存在一些待解决的问题,如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解,并建立一个有序维护的平台来进行实验并与最新基准进行比较。
Mar, 2024
本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练,并通过实验证明了其有效性。
Mar, 2022
通过实验证明,在可接受的神经网络大小下,要发现优秀的稀疏子网络,比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。
Jun, 2022
在本研究中,我们通过使用 Grad-CAM 和 Post-hoc 概念瓶颈模型(PCBMs)分别从像素和高级概念的角度,调查了经过裁剪的网络的可解释性。通过在视觉和医学影像数据集上进行广泛实验,我们发现随着权重的减少,网络的性能会下降,并且从裁剪网络中发现的概念和像素与原始网络不一致,可能是性能下降的原因。
Jul, 2023
文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis(LTH)方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果,结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。
Dec, 2020