KDDJun, 2024

自适应时空图神经网络中的图中优胜模型的预训练鉴定

PDF
TL;DR通过引入 “图中的中奖号码（GWT）” 的概念，我们提出了一种新颖的方法来显著提高自适应空间 - 时间图神经网络（ASTGNNs）的计算效率。通过采用预先确定的星形拓扑作为 GWT 来训练，我们在减少计算需求的同时，保持高性能的模型表现。我们的方法通过消除详尽的训练、修剪和重新训练周期，以及在各种数据集上的实证验证，可实现与完整模型相当的性能与大大降低的计算成本。此外，我们深入探讨了来自谱图理论角度的 GWT 的有效性，提供了实质性的理论支持。这一进展不仅证明了 ASTGNNs 中存在高效子网络的存在，而且扩大了资源受限环境中 LTH 的适用性，标志着图神经网络领域的重大进展。
发现论文，激发创造
  • 图神经网络的统一彩票假设

    提出了一种统一的 GNN 稀疏化 (UFG) 框架，同时剪枝图邻接矩阵和模型权重，以有效加速大规模图上的 GNN 推理，并将 lottery ticket 假设推广到 GNN，定义了图 lottery ticket (GLT) 作为核心子数据集和稀疏子网络对的一对，从原始的 GNN 和全密集图中通过迭代应用 UFS 联合鉴定。在各种 GNN 架构和不同任务的数据集上进行了实验验证，表明在不影响预测性能的前提下，GLT 能够实现小和大规模图数据集上的 MACS 节约。

    Feb, 2021

  • 重新思考 Graph Lottery Tickets：图稀疏度很重要

    本研究提出了两种方法来提高图神经网络 (GNN) 在图稀疏度高的情况下的性能：(1) 使用辅助 loss 以涵盖整个邻接矩阵的所有元素来指导边缘裁剪，(2) 将裁剪过程形式化为最小化 - 最大化优化问题来提高稳健性。此外，本研究还得出了可传递的图彩票假设，并证明了提出的算法优于现有方法，实验证明了传递的图彩票假设。

    May, 2023

  • 多层覆盖与折叠图神经网络及强彩票

    该研究基于强彩票模型假设（SLTH）证明了初始化模型中存在高效子网络，通过修剪卷积神经网络（CNN）而无需进行权重训练。论文通过采用多层拓扑和非共享蒙版方法在图神经网络（GNNs）中实现了 M-Sup 标量修剪蒙版，并通过自适应设置修剪阈值的策略，揭示了训练有素的前馈网络的非训练循环网络的性能相当。同时，通过在多个数据集上进行评估，包括 Open Graph Benchmark（OGB），该研究确立了 SLTH-GNN 的三重优势：高稀疏性、竞争性能和高内存效率，显示了其适用于高效图处理的能力。

    Dec, 2023

  • 早鸟 GCNs：通过早期抽奖实现图网络协同优化，以更高效地训练和推断 GCN

    我们提出了一种基于抽奖思想的 GCN 图稀疏化方法，并发现了在 GCN 稀疏化过程中出现的图中的 “早起鸟票”（GEB）。我们开发了 GEBT 框架，该框架可通过绘制联合早起鸟票来同时稀疏化 GCN 图和模型，并在多个 GCN 模型和数据集上验证了 GEB 的解决方案的有效性，取得了显著的性能提升。

    Mar, 2021

  • 图彩票假设：发现稀疏且信息丰富的图结构

    每个图都有一个极度稀疏的骨干，图学习算法可以在此骨干上训练，并且能够达到与完整图相当甚至优于其性能，该研究系统地研究了直接影响图学习算法性能的 8 个关键指标，并提出了在任意图中寻找这些骨干的简单高效算法。

    Dec, 2023

  • 剪枝元素的对抗擦除：迈向更好的图形彩票

    我们提出了一种基于 Adversarial Complementary Erasing（ACE）框架的 Graph Lottery Ticket（GLT）方法，用于在研究中获取有价值的信息，并提升深度图神经网络（GNNs）在大型输入图上的性能。实验结果表明，ACE-GLT 在各种任务上优于现有的 GLT 搜索方法。

    Aug, 2023

  • 从超网络中联合进行架构搜索和参数剪枝，绘制与任务无关的彩票票券

    本文提出了一种 SuperTickets 的方法，通过一种两合一的训练方法进行神经架构搜索和参数修剪，从而直接识别出有效的神经网络。该方法不仅能够改善精度和效率权衡的问题，并且可用于多任务处理。

    Jul, 2022

  • 本地化自适应时空图神经网络

    本研究针对自适应时空图神经网络 (ASTGNNs) 进行局部化，提出了一种名为自适应图稀疏化（AGS）的图稀疏化算法。实验表明，通过 AGS 进行稀疏化，ASTGNNs 的空间图可以被稀疏化超过 99.5％，而准确性不会有太大下降。因此，研究者得出以下结论：在测试的数据中，时空依赖性所提供的信息主要包含在时间依赖性所提供的信息中，因此在推理过程中可以忽略；尽管空间依赖性提供冗余信息，但对于 ASTGNNs 的有效训练至关重要，因此不能在训练过程中忽略它们。局地性的实现有可能减少在大规模时空数据上所需的计算的开销，从而进一步支持 ASTGNNs 的分布式部署。

    Jun, 2023

  • 交通流预测的自适应图空时转换网络

    该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

    Jul, 2022

  • 为什么彩票票获胜？剪枝神经网络中样本复杂度的理论视角

    本文通过分析目标函数的几何结构和样本复杂度，理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下，训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比，从而提供了对中奖票证明的形式化证明。

    Oct, 2021