Mar, 2024

Unifews：用于图神经网络高效稀疏化的统一逐元素稀疏化

PDF
TL;DR通过在个别矩阵元素上考虑统一图传播和权重变换操作，并进行联合边权稀疏化以提高学习效率，Unifews 在逐渐增加稀疏性的情况下适用于不同的架构设计，并在理论上证明了较低的计算负载以及稳定的近似学习目标。通过广泛的实验评估，Unifews 在移除超过 90% 的边和权重条目的同时，与基准模型相当或更高的准确性方面具有优势，并在效率方面提供了显着的改进。
graph neural networksgnn updateunifewssparsification techniqueslearning efficiency
发现论文，激发创造
  • UniGNN：一种用于图和超图神经网络的统一框架

    本文提出了 UniGNN 框架，使得现有的图神经网络能够直接应用于超图，并证明了该框架比传统算法更有效地处理超图数据。

    May, 2021

  • 联合子图神经网络

    本文提出了一种名为 Union Subgraph Neural Network 的图神经网络模型，通过注入从新类型的子结构中提取的邻居连接信息以有效地编码高阶连接性，该模型被证明在区分非同构图方面比 1-WL 更强大，并且在 17 个基准测试中表现出优异的性能，尤其是在现有模型的局部编码的基础上注入我们的局部编码，可以最多提高 11.09% 的性能。

    May, 2023

  • 光谱保留图稀疏化和粗化的统一框架

    提供了同时稀疏化和粗化图形的统一框架，其原理基于图拉普拉斯算子的物理解释，并使用一种无偏处理程序来减少图形并保留其大规模结构。

    Feb, 2019

  • 使用优化框架解释和统一图神经网络

    本文旨在建立不同传播机制之间的联合优化框架，总结了几种最具代表性的图神经网络，并提供了新的设计灵活性。本文还提出了两个考虑可调节图内核的新型目标函数，分别表现出低通或高通滤波能力，并提供了所提模型的收敛性证明和表达能力比较。

    Jan, 2021

  • 通过图的混合进行图稀疏化

    使用混合图 (MoG) 技术对图神经网络进行图稀疏化处理，针对每个节点的特定环境选择合适的稀疏方案，并在 Grassmann 流形上生成最优稀疏图，从而实现更高的稀疏度水平、GNN 推理速度的提升，并改善 “顶级学生” GNN 在性能上的表现。

    May, 2024

  • 图神经网络的统一彩票假设

    提出了一种统一的 GNN 稀疏化 (UFG) 框架，同时剪枝图邻接矩阵和模型权重，以有效加速大规模图上的 GNN 推理，并将 lottery ticket 假设推广到 GNN，定义了图 lottery ticket (GLT) 作为核心子数据集和稀疏子网络对的一对，从原始的 GNN 和全密集图中通过迭代应用 UFS 联合鉴定。在各种 GNN 架构和不同任务的数据集上进行了实验验证，表明在不影响预测性能的前提下，GLT 能够实现小和大规模图数据集上的 MACS 节约。

    Feb, 2021

  • 使用多部分图表示探索稀疏神经网络内部

    本文提出了一种新的 unrolled input-aware bipartite Graph Encoding 算法用于寻找 DNN 中的高效子网络并研究其拓扑结构，以探究现有的剪枝算法和拓扑结构之间的差异以及与性能之间的关系。

    May, 2023

  • 基于图稀疏化的高能效分散式学习

    通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案可以在保持训练模型质量的前提下，将最繁忙节点的能耗降低 54%-76%。

    Jan, 2024

  • 联合边模型稀疏学习对于图神经网络的可证明效率

    本文从样本复杂度和收敛速率的角度，首次提供了从联合边缘 - 模型稀疏学习的理论特性，证明了重要节点抽样和低幅度神经元剪枝可以减少样本复杂度，提高收敛速度，而不影响测试精度。

    Feb, 2023

  • 多用户干扰网络波束成形的深度图解

    利用图神经网络优化多用户多输入多输出无线自组织干扰网络中的波束成形，性能表现优于传统的 WMMSE 方法和基于学习的最新方法。

    Apr, 2023