QEBVerif: 神经网络量化误差边界验证
本文提出了一种基于整数线性约束的编码形式,以有效地验证 QNN 的正确性和局部稳健性,从而提高其能源效率和减少计算量。实验证明该方法比现有技术更快两个数量级且可处理更多的验证任务。
Dec, 2022
量化用整数运算取代浮点算术在深度神经网络模型中,从而在设备上提供更高效的推断,降低功耗和内存需求。本文提出了一个框架用于正式验证量化神经网络的特性。我们的基准技术基于整数线性规划,保证了完备性和正确性。然后我们展示了如何利用梯度启发式搜索方法和边界传播技术来提高效率。我们通过在 PyTorch 中量化感知网络来评估我们的方法。结果表明,与现有技术相比,我们能够以更好的可扩展性和效率验证量化网络。
Dec, 2023
本文提出了一种基于 Binarized Neural Networks(BNNs)的验证技术(EEV),可以具有可比较的鲁棒性,并且通过使用一种策略来训练鲁棒性 BNNs,可以实现更快,更准确的验证。EEV 有效,通过在 MNIST 和 CIFAR10 数据集上展示非平凡卷积 BNN 的 L-inf-bounded 对抗性鲁棒性的首个确切验证结果可以进行性能优化。
May, 2020
本文研究了在保证噪声攻击后的量化神经网络的训练和认证问题,并提出了一个能够完全利用 GPU 加速的 QA-IBP 训练方法和验证流程,大大优于现有方法,已成为量化神经网络鲁棒性训练和认证新的标准。
Nov, 2022
本文提出一种名为 Elastic Quantization Neural Networks(EQ-Net)的一次性网络量化方案,旨在训练鲁棒的权重共享量化超网络。我们探索了一种弹性量化空间,并提出了权重分布正则化损失(WDR-Loss)和群体渐进引导损失(GPG-Loss)以解决弹性量化空间间隙中权重和输出逻辑的分布不一致问题。最后,我们结合了遗传算法和条件量化感知准确性预测器(CQAP),快速搜索超网络中混合精度量化的神经网络。大量实验证明,我们的 EQ-Net 几乎与或甚至更好地超过了静态对应物以及最先进的鲁棒位宽方法。
Aug, 2023
研究了深度学习的形式验证以及提出了一种基于分支定界的族算法,并提出了新型的组合方法,以及新的有效的分支策略,将之用于高维输入上的问题,并提出包含以前发布的测试案例的全面测试数据集和基准测试。
Sep, 2019
通过定性和定量安全性验证问题的综合合成有效的神经屏障证书,本文提出了一种用于 DNN 控制系统的新型框架,并通过 $ extsf {UniQQ}$ 工具在四个经典 DNN 控制系统上展示了其有效性。
Apr, 2024
用具有适当启发式条件的一组算法基于神经网络的输出分布来验证其概率,同时计算和迭代优化神经网络输出概率的下界和上界,并通过应用非概率性神经网络验证中的最先进的边界传播和分支约束技术,显著提高了解决时间。
May, 2024
本文提出了一种用于深度神经网络(DNN)压缩的联合训练方法,以便同时训练量化器和 DNN,以便量化网络权重和激活,并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示,该方法在各种网络结构上都运行良好,超越了以前的量化方法。
Jul, 2018
本文介绍了一种神经网络压缩技术方法,建立了一个混合神经网络,由一个前馈神经网络和其量化版本组成,通过优化和可达性分析方法计算了保证的量化误差。 数值例子验证了该方法的适用性和有效性。
Apr, 2023