Aug, 2023

剪枝元素的对抗擦除：迈向更好的图形彩票

PDF
TL;DR我们提出了一种基于 Adversarial Complementary Erasing（ACE）框架的 Graph Lottery Ticket（GLT）方法，用于在研究中获取有价值的信息，并提升深度图神经网络（GNNs）在大型输入图上的性能。实验结果表明，ACE-GLT 在各种任务上优于现有的 GLT 搜索方法。
graph lottery ticketgraph neural networksdeep learningpruningace-glt
发现论文，激发创造
  • 稀疏而强大：构建对抗性鲁棒的图表彩票

    基于 Graph Lottery Tickets 和 adversarially robust graph sparsification 的研究，我们发现稀疏的邻接矩阵和稀疏的图神经网络能够显著减少推理延迟和计算占用空间。针对不同的结构扰动攻击，我们提出了 ARGS 框架，通过优化新的损失函数，对邻接矩阵和网络权重进行裁剪，以提高鲁棒性。我们的评估结果表明，ARGS 生成的 Graph Lottery Tickets 能够在不同的训练时间结构攻击下显著提高鲁棒性。

    Dec, 2023

  • 图神经网络的统一彩票假设

    提出了一种统一的 GNN 稀疏化 (UFG) 框架，同时剪枝图邻接矩阵和模型权重，以有效加速大规模图上的 GNN 推理，并将 lottery ticket 假设推广到 GNN，定义了图 lottery ticket (GLT) 作为核心子数据集和稀疏子网络对的一对，从原始的 GNN 和全密集图中通过迭代应用 UFS 联合鉴定。在各种 GNN 架构和不同任务的数据集上进行了实验验证，表明在不影响预测性能的前提下，GLT 能够实现小和大规模图数据集上的 MACS 节约。

    Feb, 2021

  • 重新思考 Graph Lottery Tickets：图稀疏度很重要

    本研究提出了两种方法来提高图神经网络 (GNN) 在图稀疏度高的情况下的性能：(1) 使用辅助 loss 以涵盖整个邻接矩阵的所有元素来指导边缘裁剪，(2) 将裁剪过程形式化为最小化 - 最大化优化问题来提高稳健性。此外，本研究还得出了可传递的图彩票假设，并证明了提出的算法优于现有方法，实验证明了传递的图彩票假设。

    May, 2023

  • TEDDY: 根据度数进行边缘修剪的歧视策略

    TEDDY 是一种基于边缘稀疏化和结构信息的一次性稀疏化框架，超过了常规的迭代方法，在只利用图结构而不考虑节点特征的情况下实现了图抽奖券的高效率和快速实现。

    Feb, 2024

  • 图彩票假设：发现稀疏且信息丰富的图结构

    每个图都有一个极度稀疏的骨干，图学习算法可以在此骨干上训练，并且能够达到与完整图相当甚至优于其性能，该研究系统地研究了直接影响图学习算法性能的 8 个关键指标，并提出了在任意图中寻找这些骨干的简单高效算法。

    Dec, 2023

  • 自适应时空图神经网络中的图中优胜模型的预训练鉴定

    通过引入 “图中的中奖号码（GWT）” 的概念，我们提出了一种新颖的方法来显著提高自适应空间 - 时间图神经网络（ASTGNNs）的计算效率。通过采用预先确定的星形拓扑作为 GWT 来训练，我们在减少计算需求的同时，保持高性能的模型表现。我们的方法通过消除详尽的训练、修剪和重新训练周期，以及在各种数据集上的实证验证，可实现与完整模型相当的性能与大大降低的计算成本。此外，我们深入探讨了来自谱图理论角度的 GWT 的有效性，提供了实质性的理论支持。这一进展不仅证明了 ASTGNNs 中存在高效子网络的存在，而且扩大了资源受限环境中 LTH 的适用性，标志着图神经网络领域的重大进展。

    Jun, 2024

  • 粗化粒度：朝向结构稀疏的彩票神经元

    本文提出一种新方法，通过迭代的裁剪与一系列 “后处理技术”，找到带有结构化稀疏性的获奖子网络，从而在不影响模型精度的情况下，显著提高模型的推理速度。

    Feb, 2022

  • 图神经网络稀疏训练的全面图剪枝

    本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

    Jul, 2022

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 迭代幅值修剪作为重整化群：抽奖票假设背景下的研究

    本文探讨了深度神经网络（DNNs）的复杂世界，专注于激动人心的 Lottery Ticket Hypothesis（LTH）的概念。LTH 假设在大量的 DNNs 中，较小的可训练子网络（称为 “中奖票”）可以达到与完整模型相当的性能。我们进一步研究了发现这些中奖票以及它们的 “通用性”，即检查在一个特定问题上表现良好的中奖票是否也可以在其他相似问题上表现良好。我们还弥合了物理学中的 Iterative Magnitude Pruning（IMP）和 Renormalisation Group（RG）理论之间的差距，进一步促进 IMP 的更严谨理解。

    Aug, 2023