Jun, 2023

QNNRepair：量化神经网络修复

PDF
TL;DRQNNRepair 是一种用于修复量化神经网络的方法，通过软件故障定位方法识别神经元并将修复问题转化为线性规划问题，以纠正 QNN 在失败测试中的表现，并在不损害其通过测试中的表现的情况下，解决神经元权重参数的问题。实验证明，与现有方法相比，QNNRepair 可在大多数情况下有效提高量化模型的性能，特别适用于 ImageNet 数据集。
qnnrepairquantized neural networksrepair datasetsoftware fault localizationlinear programming
发现论文，激发创造
  • 基于模型等价评估的前馈神经网络的压缩修复

    我们提出了一种基于两个神经网络的等价评估的修复压缩前馈神经网络的方法，通过计算两个神经网络之间的输出差异来刻画由压缩过程产生的输出差异，并使用这个差异来初始化一个新的训练集以减小神经网络间的差异并提高压缩网络的性能，然后通过重新训练该训练集来修复压缩前馈神经网络，并在 MNIST 数据集上应用我们提出的修复方法来展示其有效性和优势。

    Feb, 2024

  • 神经网络的自动修复

    提出了一种通过使用 SMT 求解器修复有关安全规范的不安全神经网络，以防止对抗攻击，并且通过修改少量的权重值来寻找新的安全神经网络表示，从而最大限度地保持决策边界相似性，同时保证只有轻微的准确度损失，证明了该方法的实用性。

    Jul, 2022

  • 深度神经网络的可证明修复

    本文提出了可证明修复问题，即在发现不安全行为后修复神经网络 (DNN) 的问题，并介绍了可用于有限点和凸多面体等安全规范的 Provable Point 和 Provable Polytope 修复算法，以及 Decoupled DNN 结构，它允许将可证明修复减少至线性规划问题。实验结果证明了我们的算法在各种具有挑战性的任务中的有效性和效率。

    Apr, 2021

  • 因果关系基础下神经网络修复

    提出了一种基于因果推理的神经网络修复技术 CARE，该技术可以有效地修复神经网络，使其满足公平性、安全性等性质，平均提高了 61.91% 的公平性，并将攻击成功率从 98% 以上降至 1% 以下。

    Apr, 2022

  • 通过有选择性的神经元分裂提高 QNN 的容错性

    本文使用一种分析抗干扰性的新方法来评估量化神经网络，并提出了一种轻量级修正单元，用于修复其关键神经元的错误，其开销比选择性三模冗余法小一半，而实现类似的容错能力。

    Jun, 2023

  • ADVREPAIR: 对抗性攻击的可证明修复

    利用形式验证构建补丁模块，提供对有限数据的合适修复，该修复可以证明且具有一般化能力。

    Apr, 2024

  • RepQ：通用量化感知训练重新参数化架构

    现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为 RepQ 的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

    Nov, 2023

  • 深度神经网络在量化下的鲁棒性

    本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响，通过控制网络复杂度，发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能，在硬件资源受限时提示了网络大小和精度之间的折衷。

    Nov, 2015

  • 基于语义的神经网络修复

    本文提出了一种通过基于深度学习层的可执行语义来自动修复神经网络错误的方法，该方法专注于四种实践中常见的错误类型，并通过实验验证了该方法的有效性和高效性。

    Jun, 2023

  • 深度神经网络架构保全的可证修复

    本文提出了一种基于 V-polytope 的可证明修复方法，该方法可以在不修改架构的情况下修改深度神经网络（DNN）的参数，支持多层修复，运行时间复杂度为多项式级别。使用 MNIST，ImageNet 和 ACAS Xu DNNs 测试显示该方法比以前的 PRDNN 和 REASSURE 方法在效率、可扩展性和泛化性方面更好。

    Apr, 2023