ICLRAug, 2020

Degree-Quant: 图神经网络的量化感知训练

PDF
TL;DR本文介绍了一种利用低精度整数算法进行推理的方法，即基于度量化的量化图神经网络，并通过对六个数据集的验证表明，与以往的方法不同，该方法使模型可以推广到未见过的图像，与 FP32 模型相比，在大多数情况下性能相当，在 INT4 模型中我们获得了高达 26％的增益。
graph neural networksquantizationstructured datadegree quantinference time
发现论文，激发创造
  • 具有平滑感知信息传播的深度图神经网络的低比特量化

    图神经网络的规模和层数的扩展性方面存在挑战，本论文提出一种端到端的解决方案，采用量化方法来压缩模型以提高效率，在资源受限环境中实现高精度的图神经网络，并解决深层图神经网络中的过度平滑问题。

    Aug, 2023

  • A^2Q：面向图神经网络的聚合感知量化

    本文提出了一种基于图神经网络特征的聚合感知混合精度量化方法（$ m A^2Q$）, 通过学习自适应的节点位宽来实现模型压缩，模型应用于节点与图级别任务时，相较于 FP32 模型可以达到高达 18.6x 压缩比且精度几乎不降低。同时，本文提出的方法相较于当前最先进的量化方法，在节点级别和图级别任务中可分别达到 11.4% 和 9.5% 的精度提升，以及专用硬件上可达到 2 倍的加速比。

    Feb, 2023

  • Tango：重新思考在 GPU 上进行图神经网络训练的量化

    Tango 是一个能在 GPU 上加速 Graph Neural Networks（GNN）训练的系统，通过引入有效的保持精度的规则和量化意识的基本操作，以及与 Deep Graph Library（DGL）系统的集成，展示了优于现有方法的性能。

    Aug, 2023

  • GHN-QAT：训练图超网络以预测在未见过的有限精度神经网络中抗量化参数

    通过研究我们发现，量化感知训练可以显著提高 4 位量化 CNN 的 GHN 预测参数的精确性，甚至可以让 2 位量化 CNN 的 GHN 预测参数的精确性超过随机结果。这些有希望的结果为未来的研究开辟了新的方向。

    Sep, 2023

  • 使用 8 位整数训练高性能和大规模深度神经网络

    本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。

    Sep, 2019

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • SGQuant：使用专用量化技术压缩图神经网络的最后一位

    本文提出了一种专门针对内存受限设备的 GNN 量化方案 SGQuant，该方案旨在系统地减少 GNN 的内存消耗，通过 GNN 定制的量化算法设计、分层量化策略以及自动位数选择等措施，在减少内存消耗的同时保证模型的高精度，非常有效地将内存占用缩小了 4.25 到 31.9 倍。

    Jul, 2020

  • 深度神经网络固定点推断的准确有效的训练量化阈值

    使用标准反向传播和梯度下降法提出了一种对均匀对称量化器进行训练阈值（TQT）的方法，能够以 8 位量化重新训练不到 5 次即可在 MobileNets 等传统难度网络上实现接近浮点精度的分类性能。

    Mar, 2019

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

    Dec, 2017

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

    Jan, 2022