ICCVSep, 2023

GHN-QAT：训练图超网络以预测在未见过的有限精度神经网络中抗量化参数

PDF
TL;DR通过研究我们发现，量化感知训练可以显著提高 4 位量化 CNN 的 GHN 预测参数的精确性，甚至可以让 2 位量化 CNN 的 GHN 预测参数的精确性超过随机结果。这些有希望的结果为未来的研究开辟了新的方向。
发现论文，激发创造
  • 通过图形超网络进行未见量化卷积架构的参数预测

    利用 Graph Hypernetworks 预测未被量化的 CNN 架构的参数，发现 GHN-Q 可以成功预测各种 8 位量化 CNN 的量化鲁棒参数，甚至可以胜任 4 位量化，对低位的量化微调可能会有更好的表现，该模型对深度学习在边缘计算方面有重要帮助。

    Aug, 2022

  • Degree-Quant: 图神经网络的量化感知训练

    本文介绍了一种利用低精度整数算法进行推理的方法，即基于度量化的量化图神经网络，并通过对六个数据集的验证表明，与以往的方法不同，该方法使模型可以推广到未见过的图像，与 FP32 模型相比，在大多数情况下性能相当，在 INT4 模型中我们获得了高达 26％的增益。

    Aug, 2020

  • 在了解神经网络结构之前进行预训练

    通过训练较小的超级网络来预测大型神经网络的参数，以达到训练大型神经网络的目的，并提出了利用简单的后处理技术来改善对 ResNet-50 和 ConvNeXt 的调整。

    Jul, 2022

  • 量化神经网络：用低精度权重和激活训练神经网络

    本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

    Sep, 2016

  • 学习低精度图神经网络

    本研究使用 Low Precision Graph NAS (LPGNAS) 方法进行 Deep Graph Neural Networks 的定点化，并通过 8 个不同的数据集分类实现了模型和缓冲区大小的显著降低，同时保持了精度。

    Sep, 2020

  • 具有平滑感知信息传播的深度图神经网络的低比特量化

    图神经网络的规模和层数的扩展性方面存在挑战，本论文提出一种端到端的解决方案，采用量化方法来压缩模型以提高效率，在资源受限环境中实现高精度的图神经网络，并解决深层图神经网络中的过度平滑问题。

    Aug, 2023

  • 神经网络的 8 位训练可扩展方法

    本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

    May, 2018

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

    Jan, 2022

  • 深度神经网络固定点推断的准确有效的训练量化阈值

    使用标准反向传播和梯度下降法提出了一种对均匀对称量化器进行训练阈值（TQT）的方法，能够以 8 位量化重新训练不到 5 次即可在 MobileNets 等传统难度网络上实现接近浮点精度的分类性能。

    Mar, 2019

  • 基于梯度的神经网络芯片上每权重混合精度量化

    通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

    May, 2024