Sep, 2023

使用改进的方差最小化的块化量化对图神经网络进行激活压缩

PDF
TL;DR通过块状量化中间激活图，有效训练大规模图神经网络并显著减少内存消耗，同时改进和改正了 EXACT 策略的假设和方差估计。
efficient traininglarge-scale graph neural networksmemory consumptionactivation compressionblock-wise quantization
发现论文，激发创造
  • 通过 2 位激活压缩训练减少训练内存占用的 ActNN

    本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了 ActNN 的有效性，并表明其不会带来过大的精度损失。

    Apr, 2021

  • 使用精确压缩学习图神经网络

    本文研究采用精确压缩的方式，将图神经网络（GNNs）学习问题转化为等价的压缩 GNNs 学习问题，以减少在大型图上学习 GNNs 时 GPU 等内存有限设备的存储需求，实验表明可以在现实世界的图上获得可观的压缩比。

    Apr, 2023

  • SGQuant：使用专用量化技术压缩图神经网络的最后一位

    本文提出了一种专门针对内存受限设备的 GNN 量化方案 SGQuant，该方案旨在系统地减少 GNN 的内存消耗，通过 GNN 定制的量化算法设计、分层量化策略以及自动位数选择等措施，在减少内存消耗的同时保证模型的高精度，非常有效地将内存占用缩小了 4.25 到 31.9 倍。

    Jul, 2020

  • A^2Q：面向图神经网络的聚合感知量化

    本文提出了一种基于图神经网络特征的聚合感知混合精度量化方法（$ m A^2Q$）, 通过学习自适应的节点位宽来实现模型压缩，模型应用于节点与图级别任务时，相较于 FP32 模型可以达到高达 18.6x 压缩比且精度几乎不降低。同时，本文提出的方法相较于当前最先进的量化方法，在节点级别和图级别任务中可分别达到 11.4% 和 9.5% 的精度提升，以及专用硬件上可达到 2 倍的加速比。

    Feb, 2023

  • 具有平滑感知信息传播的深度图神经网络的低比特量化

    图神经网络的规模和层数的扩展性方面存在挑战，本论文提出一种端到端的解决方案，采用量化方法来压缩模型以提高效率，在资源受限环境中实现高精度的图神经网络，并解决深层图神经网络中的过度平滑问题。

    Aug, 2023

  • 神经图像压缩的带宽有效推理

    我们提出了一种端到端可微分的带宽高效神经推理方法，通过神经数据压缩方法对激活进行压缩，可实现高达 19 倍的带宽减少和 6.21 倍的能量节省。

    Sep, 2023

  • 利用量化噪音进行极限模型压缩的训练

    本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。

    Apr, 2020

  • 神经网络的训练与推理的价值感知量化

    提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。

    Apr, 2018

  • Degree-Quant: 图神经网络的量化感知训练

    本文介绍了一种利用低精度整数算法进行推理的方法，即基于度量化的量化图神经网络，并通过对六个数据集的验证表明，与以往的方法不同，该方法使模型可以推广到未见过的图像，与 FP32 模型相比，在大多数情况下性能相当，在 INT4 模型中我们获得了高达 26％的增益。

    Aug, 2020

  • LQ-Nets: 针对高准确性和紧凑型深度神经网络的学习量化

    本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

    Jul, 2018