Aug, 2023

Tango：重新思考在 GPU 上进行图神经网络训练的量化

PDF
TL;DRTango 是一个能在 GPU 上加速 Graph Neural Networks（GNN）训练的系统，通过引入有效的保持精度的规则和量化意识的基本操作，以及与 Deep Graph Library（DGL）系统的集成，展示了优于现有方法的性能。
graph neural networksquantizationgnn trainingtangodeep graph library
发现论文，激发创造
  • Degree-Quant: 图神经网络的量化感知训练

    本文介绍了一种利用低精度整数算法进行推理的方法，即基于度量化的量化图神经网络，并通过对六个数据集的验证表明，与以往的方法不同，该方法使模型可以推广到未见过的图像，与 FP32 模型相比，在大多数情况下性能相当，在 INT4 模型中我们获得了高达 26％的增益。

    Aug, 2020

  • SGQuant：使用专用量化技术压缩图神经网络的最后一位

    本文提出了一种专门针对内存受限设备的 GNN 量化方案 SGQuant，该方案旨在系统地减少 GNN 的内存消耗，通过 GNN 定制的量化算法设计、分层量化策略以及自动位数选择等措施，在减少内存消耗的同时保证模型的高精度，非常有效地将内存占用缩小了 4.25 到 31.9 倍。

    Jul, 2020

  • 具有平滑感知信息传播的深度图神经网络的低比特量化

    图神经网络的规模和层数的扩展性方面存在挑战，本论文提出一种端到端的解决方案，采用量化方法来压缩模型以提高效率，在资源受限环境中实现高精度的图神经网络，并解决深层图神经网络中的过度平滑问题。

    Aug, 2023

  • A^2Q：面向图神经网络的聚合感知量化

    本文提出了一种基于图神经网络特征的聚合感知混合精度量化方法（$ m A^2Q$）, 通过学习自适应的节点位宽来实现模型压缩，模型应用于节点与图级别任务时，相较于 FP32 模型可以达到高达 18.6x 压缩比且精度几乎不降低。同时，本文提出的方法相较于当前最先进的量化方法，在节点级别和图级别任务中可分别达到 11.4% 和 9.5% 的精度提升，以及专用硬件上可达到 2 倍的加速比。

    Feb, 2023

  • 基于梯度的神经网络芯片上每权重混合精度量化

    通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

    May, 2024

  • 深度神经网络固定点推断的准确有效的训练量化阈值

    使用标准反向传播和梯度下降法提出了一种对均匀对称量化器进行训练阈值（TQT）的方法，能够以 8 位量化重新训练不到 5 次即可在 MobileNets 等传统难度网络上实现接近浮点精度的分类性能。

    Mar, 2019

  • 分布式全图 GNN 训练的自适应消息量化和并行化

    本文研究了分布式完全图训练的图神经网络（GNNs），提出了一种快速训练系统 AdaQP，并使用随机量化和通信计算并行化等技术来降低通信成本，实现了训练吞吐量的显著提升和误差微小的准确性改进。

    Jun, 2023

  • QGTC：使用 GPU 张量核加速量化图神经网络

    该论文提出了一种基于张量核心的计算框架 QGTC，支持 GPU 上的 QGNN 的任何位宽计算，实验结果表明 QGTC 相对于 Deep Graph Library 框架平均加速了 2.7 倍。

    Nov, 2021

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • 学习低精度图神经网络

    本研究使用 Low Precision Graph NAS (LPGNAS) 方法进行 Deep Graph Neural Networks 的定点化，并通过 8 个不同的数据集分类实现了模型和缓冲区大小的显著降低，同时保持了精度。

    Sep, 2020