QGTC:使用 GPU 张量核加速量化图神经网络
通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作,使其在处理 ImageNet 数据集时比现有软件实现快出 77%,从而显著提高性能。
Jun, 2020
本文提出了一种专门针对内存受限设备的 GNN 量化方案 SGQuant,该方案旨在系统地减少 GNN 的内存消耗,通过 GNN 定制的量化算法设计、分层量化策略以及自动位数选择等措施,在减少内存消耗的同时保证模型的高精度,非常有效地将内存占用缩小了 4.25 到 31.9 倍。
Jul, 2020
Tango 是一个能在 GPU 上加速 Graph Neural Networks(GNN)训练的系统,通过引入有效的保持精度的规则和量化意识的基本操作,以及与 Deep Graph Library(DGL)系统的集成,展示了优于现有方法的性能。
Aug, 2023
本文提出了一种基于图神经网络特征的聚合感知混合精度量化方法($ m A^2Q$), 通过学习自适应的节点位宽来实现模型压缩,模型应用于节点与图级别任务时,相较于 FP32 模型可以达到高达 18.6x 压缩比且精度几乎不降低。同时,本文提出的方法相较于当前最先进的量化方法,在节点级别和图级别任务中可分别达到 11.4% 和 9.5% 的精度提升,以及专用硬件上可达到 2 倍的加速比。
Feb, 2023
本文介绍了一种利用低精度整数算法进行推理的方法,即基于度量化的量化图神经网络,并通过对六个数据集的验证表明,与以往的方法不同,该方法使模型可以推广到未见过的图像,与 FP32 模型相比,在大多数情况下性能相当,在 INT4 模型中我们获得了高达 26%的增益。
Aug, 2020
本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程,以及一些基于比特串处理技术的方法,以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力,并提供了一个比特串矩阵乘法库。
Sep, 2017
本研究介绍了一种训练低精度神经网络的方法,该方法使用二进制操作代替计算,达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试,结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率,训练过程中也能使用仅有的二进制操作实现损失函数的计算,并在损失部分的代码上进行了优化,使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍,并且没有影响分类准确性。
Sep, 2016
GeoT 是一个切实针对 GNN 的创新张量中心库,通过高效的段缩减算法,引入新的设计原则,扩展了可用的设计空间,并在计算图内实现简易融合,确保与现代张量中心机器学习框架和编译器的兼容性。通过取得 1.80 倍的平均运算符加速和 1.68 倍的端到端加速,GeoT 标志着显著的进步。
Apr, 2024
本研究提出了一种二进制图神经网络的高效推理后端的重新设计,旨在充分地发挥加速器硬件性能潜力;在实际图形中,使用 GCNs、GraphSAGE 和 GraphSAINT 的结果表明,使用相同的精度,所提出的技术比最先进的二进制 GNN 实现快 8-22 倍。
May, 2023
本研究提出了在量子计算机上实现图神经网络(GNNs)的框架,以应对处理大规模图时经典 GNNs 所面临的可扩展性挑战,通过制定与三种经典 GNNs 对应的量子算法:图卷积网络(Graph Convolutional Networks)、图注意力网络(Graph Attention Networks)和消息传递 GNNs(Message-Passing GNNs)。我们对简化的图卷积(SGC)网络的量子实现进行了复杂性分析,结果显示与经典方法相比,我们的量子 SGC 在时间和空间复杂度上具有潜在的优势,能够高效处理大规模图,这为在量子计算机上实现更先进的图神经网络模型铺平了道路,为用于分析图结构数据的量子机器学习开拓了新的可能性。
May, 2024