利用浮点数数值误差攻击经过验证的神经网络
提出了一种生成可验证的神经网络(VNNs)的新框架,该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡,使得生成的网络在预测性能方面与原始网络相当,并且可以进行验证,以更加高效地建立 VNNs 的强大性。
Dec, 2023
本文调查了最近出现的,从可达性分析、优化和搜索中获得的洞见的方法,以确保设计的深度神经网络满足特定的输入输出属性。 我们讨论了现有算法之间的根本差异和联系。 此外,我们提供了现有方法的教学实现,并在一组基准问题上进行了比较。
Mar, 2019
近年来,机器学习(ML)和神经网络(NNs)在各个领域广泛使用和受到关注,特别是在交通运输领域实现自主性,包括城市空中出租车(UAM)的出现。然而,对认证的担忧已经出现,强调了需要包含整个 ML 和 NN 管道的标准化过程的发展。本文深入研究了推理阶段和所需的硬件,突出了与 IEEE 754 浮点算术相关的挑战,并提出了替代的数字表示方法。通过评估不同的求和和点积算法,我们旨在减轻与非关联性有关的问题。此外,我们对定点算术的探索揭示了它相对于浮点方法的优势,显示出显著的硬件效率。采用经验方法,我们确定了实现可接受的精度所需的最佳位宽,考虑到位宽优化的固有复杂性。
Jan, 2024
量化用整数运算取代浮点算术在深度神经网络模型中,从而在设备上提供更高效的推断,降低功耗和内存需求。本文提出了一个框架用于正式验证量化神经网络的特性。我们的基准技术基于整数线性规划,保证了完备性和正确性。然后我们展示了如何利用梯度启发式搜索方法和边界传播技术来提高效率。我们通过在 PyTorch 中量化感知网络来评估我们的方法。结果表明,与现有技术相比,我们能够以更好的可扩展性和效率验证量化网络。
Dec, 2023
本文提出了一种新的算法框架,predictor-verifier training,用于训练可验证的神经网络,同时训练两个网络:一个预测网络和一个验证网络以达到最大化输出准确性并满足输入输出特定属性的目标。实验表明,predictor-verifier 架构能够训练出鲁棒性强的神经网络并且训练时间显著减短,在像 MNIST 和 SVHN 这样的小数据集上优于以前的算法,同时能够扩展到 CIFAR-10 并产生首个已知的可验证鲁棒网络。
May, 2018
本文提出了一种通用的神经网络形式验证框架,通过将验证问题转化为最优化问题,并通过我们提出的松弛算法得到可靠的上界,从而可对神经网络的输入和输出属性满足的规范进行形式化验证。
Mar, 2018
本文提出了一种基于 Binarized Neural Networks(BNNs)的验证技术(EEV),可以具有可比较的鲁棒性,并且通过使用一种策略来训练鲁棒性 BNNs,可以实现更快,更准确的验证。EEV 有效,通过在 MNIST 和 CIFAR10 数据集上展示非平凡卷积 BNN 的 L-inf-bounded 对抗性鲁棒性的首个确切验证结果可以进行性能优化。
May, 2020
本文提出了一种基于混合整数规划的验证方法,对分段线性神经网络进行验证,以评估其对于对抗样本的脆弱性;通过紧凑的非线性公式和新颖的预处理算法实现了两到三个数量级的计算速度提升,并成功确定了 MNIST 分类器对于一定幅值下的对抗精度,相较于同类算法提供更好的证明。
Nov, 2017
我们研究了神经网络计算的形式验证问题,探讨了其各种鲁棒性和最小化问题。我们提供了一个理论框架,使我们能够在神经网络中转换安全性和效率问题,并分析它们的计算复杂性。我们发现,在半线性设置中,对于分段线性激活函数和使用求和或最大度量时,大多数问题都属于 P 类或最多属于 NP 类。
Mar, 2024
文章介绍了一种基于神经网络和逻辑规范的神经符号验证框架 Neuro-symbolic Verification,使得现有的神经网络验证基础设施可用于分析复杂的实际特性,从而避免现有神经网络验证技术的严重局限。
Mar, 2022