Dec, 2023

朝着高效量化神经网络验证迈进

HTML
PDF
TL;DR量化用整数运算取代浮点算术在深度神经网络模型中，从而在设备上提供更高效的推断，降低功耗和内存需求。本文提出了一个框架用于正式验证量化神经网络的特性。我们的基准技术基于整数线性规划，保证了完备性和正确性。然后我们展示了如何利用梯度启发式搜索方法和边界传播技术来提高效率。我们通过在PyTorch中量化感知网络来评估我们的方法。结果表明，与现有技术相比，我们能够以更好的可扩展性和效率验证量化网络。
发现论文，激发创造
  • 量化神经网络: 用低精度权重和激活训练神经网络

    本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过MNIST、CIFAR-10、SVHN、ImageNet和Penn Treebank数据集的测试，结果表明1位权重和2位激活的量化版本的AlexNet能够达到51%的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得QNN的运行速度能比未优化的GPU加速速度快七倍，并且没有影响分类准确性。

    Sep, 2016

  • 量化神经网络的训练：深入理解

    本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

    Jun, 2017

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在MobileNets模型中展现了显著的改进，在ImageNet分类和COCO检测等任务上获得了良好的结果。

    Dec, 2017

  • 深度卷积网络的量化优化：一篇白皮书

    本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持8位运算的情况下，将权重量化为8位可以将模型大小降低4倍，并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试，并观察到相比于CPU上的浮点运算，量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。

    Jun, 2018

  • 深度学习推理的整数量化：原理与实证评估

    本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种8位量化工作流，能够在所有研究的网络上保持1%的浮点基线精度，包括更难量化的模型，如MobileNets和BERT-large。

    Apr, 2020

  • 高效神经网络推理量化方法综述

    本文旨在综述深度神经网络计算中数值量化的方法和优缺点，囊括了使用固定整数值的优点、及降低4x到8x等现实应用中的实际结果，以及占用更少的内存和降低延迟的潜力。

    Mar, 2021

  • 量化感知区间边界传播用于训练可证明鲁棒性的量化神经网络

    本文研究了在保证噪声攻击后的量化神经网络的训练和认证问题，并提出了一个能够完全利用 GPU 加速的 QA-IBP 训练方法和验证流程，大大优于现有方法，已成为量化神经网络鲁棒性训练和认证新的标准。

    Nov, 2022

  • QEBVerif:神经网络量化误差边界验证

    本研究提出了一种深度神经网络的量化误差边界验证方法，其中包括了一个差分可达性分析和一个基于混合整数线性规划的验证方法。通过我们的实验，我们证明了该方法的有效性和高效性。

    Dec, 2022

  • 基于ILP的量化神经网络形式化验证方法QVIP

    本文提出了一种基于整数线性约束的编码形式，以有效地验证QNN的正确性和局部稳健性，从而提高其能源效率和减少计算量。实验证明该方法比现有技术更快两个数量级且可处理更多的验证任务。

    Dec, 2022

  • 固定点算术下量化神经网络的表达能力研究

    本研究解决了量化神经网络在固定点算术下的普适逼近性质的问题，填补了当前通常考虑实数参数和无舍入误差的研究空白。通过提供针对固定点算术和激活函数的必要条件和充分条件，证明了多种流行的激活函数可以实现普适逼近，特别是在对激活函数施加轻微条件后，得到了一类激活函数的必要与充分条件，最终表明即使是使用二值权重的量化网络也能够进行普适逼近。

    Aug, 2024