深度神经网络架构保全的可证修复
本文提出了可证明修复问题,即在发现不安全行为后修复神经网络 (DNN) 的问题,并介绍了可用于有限点和凸多面体等安全规范的 Provable Point 和 Provable Polytope 修复算法,以及 Decoupled DNN 结构,它允许将可证明修复减少至线性规划问题。实验结果证明了我们的算法在各种具有挑战性的任务中的有效性和效率。
Apr, 2021
提出了一种通过使用 SMT 求解器修复有关安全规范的不安全神经网络,以防止对抗攻击,并且通过修改少量的权重值来寻找新的安全神经网络表示,从而最大限度地保持决策边界相似性,同时保证只有轻微的准确度损失,证明了该方法的实用性。
Jul, 2022
通过限制对干净样本添加范数约束的微小扰动后得到的输出可达集合,我们旨在训练出对抗攻击具有强鲁棒性的深度神经网络。我们称这个集合为对抗多面体,每个干净样本都对应一个对抗多面体。实际上,如果所有样本对应的多面体都是紧凑的,并且不与深度神经网络的决策边界相交,那么深度神经网络就能对抗攻击具有鲁棒性。因此,我们的算法的内部工作是基于学习受限的对抗多面体(CAP)。通过一系列实验证明了 CAP 相对于现有的对抗鲁棒性方法在提升模型对抗最先进攻击(包括 AutoAttack)的鲁棒性方面的有效性。
Jan, 2024
我们提出了多项式增强神经网络(PANNs),一种结合了深度神经网络(DNNs)和多项式逼近的新型机器学习架构。通过这些实验,我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能,同时在回归具有有限平滑性的函数时,也比多项式和基于 DNN 的回归方法具有更高的准确性。
Jun, 2024
QNNRepair 是一种用于修复量化神经网络的方法,通过软件故障定位方法识别神经元并将修复问题转化为线性规划问题,以纠正 QNN 在失败测试中的表现,并在不损害其通过测试中的表现的情况下,解决神经元权重参数的问题。实验证明,与现有方法相比,QNNRepair 可在大多数情况下有效提高量化模型的性能,特别适用于 ImageNet 数据集。
Jun, 2023
该论文提出了一种修复缺陷深度神经网络的框架,BIRDNN,它结合了重新训练和微调的方法,通过模拟期望行为和分析错误行为的关键神经元来修复错误的预测,并且具有更高的效率和兼容性。
May, 2023
本文探讨了 Entezari 等人(2021)的猜想,即如果考虑神经网络的排列不变性,则线性插值可能没有损失障碍。作者提出了一种名为 REPAIR 的解决方法,通过重新缩放插值网络的预激活来减轻方差崩溃现象,在各种架构和任务中,使用 REPAIR 相对于神经元校准方法可以导致 60%-100%的障碍相对减少。其中在 ImageNet 上的 ResNet50 和 CIFAR10 上的 ResNet18 上分别获得了 74%和 90%的障碍减少。
Nov, 2022
通过引入基于物理原理的 DNN 架构和训练方法来提高 DNN 方法在 MRI 重建中的泛化能力,该方法通过采用不同的欠采样蒙版产生的数据来鼓励模型推广 MRI 重建问题,在 Fast-MRI 数据集上的实验结果表明,我们的方法在解决 MRI 重建中的艰难问题方面比传统方法有更好的应用前景。
Aug, 2022