量化感知区间边界传播用于训练可证明鲁棒性的量化神经网络

AAAINov, 2022

量化感知区间边界传播用于训练可证明鲁棒性的量化神经网络

Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks

Mathias Lechner, Đorđe Žikelić, Krishnendu Chatterjee, Thomas A. Henzinger, Daniela Rus

TL;DR本文研究了在保证噪声攻击后的量化神经网络的训练和认证问题，并提出了一个能够完全利用 GPU 加速的 QA-IBP 训练方法和验证流程，大大优于现有方法，已成为量化神经网络鲁棒性训练和认证新的标准。

Abstract

We study the problem of training and certifying adversarially robust quantized neural networks (QNNs). Quantization is a technique for making neural networks more efficient by running them using low-bit integer arithmetic and is therefore commonly adopted in industry. Recent work has s

quantized neural networks adversarial robustness certification interval bound propagation gpu acceleration

发现论文，激发创造

区间传播对于训练可验证鲁棒性模型的有效性研究

通过分析，我们展示了如何利用一种简单的边界技术（interval bound propagation，IBP）来训练大型保正可证神经网络，从而打败了验证准确率最高的现有技术，在 MNIST，CIFAR-10 和 SVHN 数据集上达到了最先进的结果。

Oct, 2018

理解带间隔传播的认证培训

该论文研究了基于粗略区间边界传播（IBP）的证明训练方法，探讨了其较高的成功率和紧密性机制，并说明了其在可证明的训练中鲜明的鲁棒性和准确性之间的权衡。

Jun, 2023

朝着高效量化神经网络验证迈进

量化用整数运算取代浮点算术在深度神经网络模型中，从而在设备上提供更高效的推断，降低功耗和内存需求。本文提出了一个框架用于正式验证量化神经网络的特性。我们的基准技术基于整数线性规划，保证了完备性和正确性。然后我们展示了如何利用梯度启发式搜索方法和边界传播技术来提高效率。我们通过在 PyTorch 中量化感知网络来评估我们的方法。结果表明，与现有技术相比，我们能够以更好的可扩展性和效率验证量化网络。

Dec, 2023

关于使用区间边界传播进行有保证鲁棒性训练的收敛性

本研究就 Interval Bound Propagation 的训练过程进行了理论分析，证明了当神经网络使用该方法进行训练时，具有一定的鲁棒性保证，并可以在有足够小的扰动半径和大网络宽度的情况下，使用梯度下降法线性收敛到零的鲁棒训练误差。

Mar, 2022

基于 ILP 的量化神经网络形式化验证方法 QVIP

本文提出了一种基于整数线性约束的编码形式，以有效地验证 QNN 的正确性和局部稳健性，从而提高其能源效率和减少计算量。实验证明该方法比现有技术更快两个数量级且可处理更多的验证任务。

Dec, 2022

朝着稳定和高效的可验证鲁棒神经网络训练

本文提出了一种名为 CROWN-IBP 的新认证敌对训练方法，该方法结合了快速的 IBP 边界传播和基于紧线性松弛的后向传播，能够高效地提供强大的神经网络分类器，并在 MNIST 和 CIFAR-10 数据集上超过以往所有的线性松弛和边界传递认证防御的最佳结果

Jun, 2019

使用随机量化和信息理论集成训练提高量化深度神经网络对白盒攻击的鲁棒性

通过引入可微分的随机量化器，通过多个不同的量化神经网络学习输入图像的不同表示，提高量化过的深度神经网络对白盒对抗攻击的鲁棒性。在不同威胁模型上进行统一分析，通过相关性将互信息和准确率结合，检测攻击并生成鲁棒性图谱。

Nov, 2023

整数算术认证量化神经网络的健壮性

该论文提出了一种整数随机平滑方法与量化方法，可以将任何分类器转换为新的平滑分类器，使用整数算术对抗扰动具有认证的鲁棒性，并在 L2 范数下证明了严格的鲁棒性保证。在 CIFAR-10 和 Caltech-101 上的两个不同数据集上，我们的方法可以获得可比较的准确性和 4 倍～5 倍浮点认证方法在通用 CPU 和移动设备上的加速效果。

Aug, 2021

QEBVerif: 神经网络量化误差边界验证

本研究提出了一种深度神经网络的量化误差边界验证方法，其中包括了一个差分可达性分析和一个基于混合整数线性规划的验证方法。通过我们的实验，我们证明了该方法的有效性和高效性。

Dec, 2022

量化神经网络的训练：深入理解

本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

Jun, 2017