Oct, 2023

提高可认证鲁棒性的配方：容量与数据

PDF
TL;DR通过使用新技术、设计优化和先前工作的综合综合，我们能够显著提高确定性认证方法在各种基准数据集上的最新鲜准确性，并扩展了扰动范围大小，尤其是通过在现有最新雅可比约束控制的 ResNet 架构末端添加大型 “Cholesky - 正交化残差稠密” 层，以增加网络容量和性能，再结合过滤的生成数据增强，最终结果比确定性认证方法的最新准确性提高 8.5 个百分点。
robustnessnetwork capacitylipschitz constraintscertification methodscholesky-orthogonalized residual dense layers
发现论文，激发创造
  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 1 - 利普希茨层比较：记忆、速度和可证实的鲁棒性

    深度学习模型安全系统中，提高 1-Lipschitz 神经网络的可证明鲁棒性保证的方法和性能比较

    Nov, 2023

  • 全局鲁棒神经网络

    通过在网络中加入全局 Lipschitz 边界，文中提出的方法可以快速训练大型强健的神经网络，实现了可证明的最先进的可验证准确性。同时，该方法比最近的可证方法需要的时间和内存少得多，并在在线认证时产生可忽略的成本。

    Feb, 2021

  • LOT: 层级正交训练在提高 L2 认证鲁棒性上的应用

    该研究提出一种基于层次正交训练和利普希茨限制的深度神经网络训练方法，结合半监督学习来提高模型的认证鲁棒性，并证明其在多个数据集和网络结构上表现出卓越的性能。

    Oct, 2022

  • 通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

    通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

    Sep, 2023

  • 带有李普希茨连续性的鲁棒神经网络

    本文针对神经网络的稳健性和稳定性问题，提出了一种通用的训练方法，旨在使现有的神经网络架构更能够适应输入的视觉扰动，该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验，理论证据和实证结果证明，当使用该方法进行训练时，模型性能会显著提高，尤其是在噪声数据存在的情况下。

    Nov, 2018

  • 重新思考 Lipschitz 神经网络和认证鲁棒性：布尔函数视角

    通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

    Oct, 2022

  • 一般的 Lipschitz：通过转换依赖随机平滑实现可解决语义转换的认证鲁棒性

    提出了一种新的框架，称为 “General Lipschitz（GL）”，用于基于随机平滑的神经网络分类器的可证明鲁棒性，以对抗可组合的解决的语义扰动。在该框架内，分析了平滑分类器相对于参数变换的依赖性和对应的鲁棒性证书，与 ImageNet 数据集上的最先进方法相比，性能相当。

    Aug, 2023

  • MixTrain: 可验证鲁棒神经网络的可扩展训练

    通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

    Nov, 2018

  • Lipschitz-Margin 训练：深度神经网络扰动不变的可扩展认证

    针对神经网络模型在输入数据遭到恶意篡改时的高敏感度，提出一种能够证明防御网络免受攻击的模型的构建方法，通过计算 Lipschitz 常数与预测边界之间的关系，提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法，并提出一种有效的训练程序，提高数据点周围可证明的保护区域和网络的鲁棒性。

    Feb, 2018