SGQuant:使用专用量化技术压缩图神经网络的最后一位
本文提出了一种基于图神经网络特征的聚合感知混合精度量化方法($ m A^2Q$), 通过学习自适应的节点位宽来实现模型压缩,模型应用于节点与图级别任务时,相较于 FP32 模型可以达到高达 18.6x 压缩比且精度几乎不降低。同时,本文提出的方法相较于当前最先进的量化方法,在节点级别和图级别任务中可分别达到 11.4% 和 9.5% 的精度提升,以及专用硬件上可达到 2 倍的加速比。
Feb, 2023
图神经网络的规模和层数的扩展性方面存在挑战,本论文提出一种端到端的解决方案,采用量化方法来压缩模型以提高效率,在资源受限环境中实现高精度的图神经网络,并解决深层图神经网络中的过度平滑问题。
Aug, 2023
本文介绍了一种利用低精度整数算法进行推理的方法,即基于度量化的量化图神经网络,并通过对六个数据集的验证表明,与以往的方法不同,该方法使模型可以推广到未见过的图像,与 FP32 模型相比,在大多数情况下性能相当,在 INT4 模型中我们获得了高达 26%的增益。
Aug, 2020
本研究使用 Low Precision Graph NAS (LPGNAS) 方法进行 Deep Graph Neural Networks 的定点化,并通过 8 个不同的数据集分类实现了模型和缓冲区大小的显著降低,同时保持了精度。
Sep, 2020
本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法,其逐渐将网络量化,并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度,适用于嵌入式应用。
Aug, 2017
Tango 是一个能在 GPU 上加速 Graph Neural Networks(GNN)训练的系统,通过引入有效的保持精度的规则和量化意识的基本操作,以及与 Deep Graph Library(DGL)系统的集成,展示了优于现有方法的性能。
Aug, 2023
文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN,为了解决图神经网络中的邻居爆炸问题和扩展性问题,该方法可以有效地保留所有传递给 mini-batch 的节点的信息,同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入,同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能,在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。
Oct, 2021
本研究提出了在量子计算机上实现图神经网络(GNNs)的框架,以应对处理大规模图时经典 GNNs 所面临的可扩展性挑战,通过制定与三种经典 GNNs 对应的量子算法:图卷积网络(Graph Convolutional Networks)、图注意力网络(Graph Attention Networks)和消息传递 GNNs(Message-Passing GNNs)。我们对简化的图卷积(SGC)网络的量子实现进行了复杂性分析,结果显示与经典方法相比,我们的量子 SGC 在时间和空间复杂度上具有潜在的优势,能够高效处理大规模图,这为在量子计算机上实现更先进的图神经网络模型铺平了道路,为用于分析图结构数据的量子机器学习开拓了新的可能性。
May, 2024
本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法,通过在不同结构、层次上采用不同的精度,达到更好的压缩比和准确率的平衡。实验结果表明,与传统量化方法相比,该方法在相同压缩率下表现更优。
Oct, 2018