ICMLMay, 2019

POPQORN: 循环神经网络鲁棒性量化

PDF
TL;DR本文提出了一种名为 POPQORN 的算法，用于测量递归神经网络的稳健性，包括传统的递归神经网络、LSTM 和 GRU。通过该算法，可以得到关于每个步骤的稳健性量化指标，并就此获得新的见解。
发现论文，激发创造
  • 量化近似正交递归神经网络

    针对计算能力有限的设备，本文研究了正交循环神经网络（ORNNs）的量化问题，并提出了通过后训练量化和量化感知训练方法来实现量化正交 RNNs（QORNNs），实验结果表明量化感知训练比后训练量化更有效，最高效的模型在各种标准测试中达到与精确度 ORNN 和 LSTM 相似的结果，即使使用了 3 位量化。

    Feb, 2024

  • 神经网络的鲁棒性：一种概率和实用的方法

    本文提出了一种概率健壮性的概念，并介绍了一个基于抽象解释和重要性采样的算法，以检查神经网络是否具有概率健壮性。

    Feb, 2019

  • 量化模型强化测试

    通过对 ImageNet 上的广泛实验，我们发现量化技术在部署深度神经网络时，虽然对于对抗性攻击具有更高的稳健性，但更容易受到自然噪声和系统噪声等噪声的影响。特别的，脉冲噪声和最邻近插值对量化模型影响最大，我们的研究有助于进一步提升模型的稳健性，使其能够在真实场景中部署应用。

    Apr, 2023

  • PROVEN：一种基于概率方法验证神经网络的稳健性

    该研究提出了一种概率证明框架 PROVEN，用于验证神经网络在输入加噪时的鲁棒性，可证明分类器的 top-1 预测在受限的 Lp 范数扰动下不会发生改变，证书是基于现有的神经网络鲁棒性验证框架，该方法在 MNIST 和 CIFAR 神经网络模型的实验中取得了 75% 的提升。

    Dec, 2018

  • RobustMQ：量化模型鲁棒性性能评估

    通过对 ImageNet 上的各种噪声（对抗性攻击、自然扰动和系统噪声）进行了全面评估，我们得出了关于量化模型在各种场景下的鲁棒性的宝贵见解：（1）量化模型在对抗性鲁棒性方面表现更好，但对自然扰动和系统噪声更加脆弱；（2）一般来说，增加量化位宽会导致对抗性鲁棒性降低，自然鲁棒性增强，系统鲁棒性增加；（3）在扰动方法中，由 extit {脉冲噪声} 和 extit {玻璃模糊} 对量化模型的影响最大，而 extit {亮度} 的影响最小；（4）在系统噪声中， extit {最近邻插值} 的影响最大，而双线性插值、立方插值和区域插值的影响最小。我们的研究推动了模型的鲁棒量化及其在实际场景中的部署。

    Aug, 2023

  • 量化感知区间边界传播用于训练可证明鲁棒性的量化神经网络

    本文研究了在保证噪声攻击后的量化神经网络的训练和认证问题，并提出了一个能够完全利用 GPU 加速的 QA-IBP 训练方法和验证流程，大大优于现有方法，已成为量化神经网络鲁棒性训练和认证新的标准。

    Nov, 2022

  • 低精度 RNN：量化 RNN 而不失准确性

    本文提出了一种量化方法，通过减少比特宽度来提高模型大小，从而使网络在保持精度的同时，仍能获得减少精度和整体模型大小减少的好处。

    Oct, 2017

  • 利用深度量化神经网络提高对抗攻击的鲁棒性

    该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战，并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果，该模型稳健性能显著优于现有基准测试。

    Apr, 2023

  • 循环神经网络的有效量化方法

    本文提出了一种有效的量化方法，可用于将循环神经网络（包括 LSTM，GRU 和 ConvLSTM）部署在 FPGA 和移动平台上，同时在 IMDB 情感分析和移动 MNIST 视频帧预测等数据集上取得了有希望的成果。

    Feb, 2018

  • 神经网络鲁棒性解释和评估

    该研究提出了一种定量指标来评估神经网络模型的内在稳健性，并通过损失可视化的方式解释了对抗攻击和防御机制。该指标具有快速生成、结构和参数规模无关、可靠性高的优点，并提供了一种相对于不同测试设置不变的评估方法。

    May, 2019