Nov, 2018

MixTrain: 可验证鲁棒神经网络的可扩展训练

PDF
TL;DR通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。
发现论文，激发创造
  • 对抗训练和可证明的鲁棒性：两个目标的故事

    提出了一个基于对抗训练和可证明的强健性验证相结合的原则性框架，用于训练可证明强健的神经网络，并开发了一个新的梯度下降技术，可以消除随机多梯度中的偏差。 通过理论分析该技术的收敛性和与现有技术的实验比较，对 MNIST 和 CIFAR-10 的结果表明，所提出的方法可以始终匹配或优于过去的方法，特别是在 MNIST 的 epsilon = 0.3 时，达到了 6.60％的验证测试错误率，在 CIFAR-10 上达到了 66.57％（epsilon = 8/255）。

    Aug, 2020

  • 朝着高准确度的概率鲁棒性认证

    通过提出一种新的方法，同时追求高准确性和具有认证的概率鲁棒性，我们的实验显示该方法在多个模型和数据集上的认证率和准确性方面明显优于现有方法。

    Sep, 2023

  • 利用两两类相似性的自适应可验证训练

    利用聚类方法寻找类似度高的类别，并基于其特征对分类器设置鲁棒性，以此提升鲁棒性训练的性能，同时在 Fashion-MNIST 和 CIFAR10 中分别提高准确率 9.63% 和 30.89%。

    Dec, 2020

  • 半无限约束学习的对抗鲁棒性

    本文通过半无限优化和非凸对偶理论的研究，证明对抗性训练等价于在扰动分布上的统计问题，并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法，可以缓解鲁棒性与标准性能之间的平衡问题，并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。

    Oct, 2021

  • 全局鲁棒神经网络

    通过在网络中加入全局 Lipschitz 边界，文中提出的方法可以快速训练大型强健的神经网络，实现了可证明的最先进的可验证准确性。同时，该方法比最近的可证方法需要的时间和内存少得多，并在在线认证时产生可忽略的成本。

    Feb, 2021

  • 认证鲁棒神经网络：泛化和抗污染性

    通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

    Mar, 2023

  • 插值对抗训练：在不牺牲过多准确性的情况下实现强大的神经网络

    本论文提出了一种名为 Interpolated Adversarial Training 的对抗性训练方法，它采用最近提出的基于插值的训练方法来提高对抗鲁棒性，并以 CIFAR-10 数据集为例进行了实验证明，相较传统对抗性训练方法，该方法可以在保持对抗鲁棒性的同时取得更好的泛化性能与更低的标准测试误差。

    Jun, 2019

  • 用混合整数规划评估神经网络的鲁棒性

    本文提出了一种基于混合整数规划的验证方法，对分段线性神经网络进行验证，以评估其对于对抗样本的脆弱性；通过紧凑的非线性公式和新颖的预处理算法实现了两到三个数量级的计算速度提升，并成功确定了 MNIST 分类器对于一定幅值下的对抗精度，相较于同类算法提供更好的证明。

    Nov, 2017

  • 可证明的对抗性防御的扩展

    本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

    May, 2018

  • 自适应认证培训：追求更好的准确性与鲁棒性之间的权衡

    在此研究中，我们提出了一种基于自适应认证半径训练的新方法，旨在在保持高标准准确性的同时，提高模型的鲁棒性和准确性，从而推进现有准确性与鲁棒性的权衡。我们在 MNIST、CIFAR-10 和 TinyImageNet 数据集上验证了该方法的有效性，尤其在 CIFAR-10 和 TinyImageNet 上，与基准方法相比，我们的方法在相同标准准确性水平下能够提供高达两倍的鲁棒性。

    Jul, 2023