Mar, 2021

短暖身快速可靠训练

HTML
PDF
TL;DR本文提出了三种改进的IBP方法：权重初始化方法、在每个图层中完全添加批量归一化以减少ReLU激活状态的不平衡，设计正则化以在wamrup期间显式加紧证明的范围并平衡ReLU激活状态。使用很短的训练计划（分别为160和80个总时代），我们能够在CIFAR-10（ε=8/255）和TinyImageNet（ε=1/255）上实现65.03％和82.36％的验证错误，并在相同的网络架构下优于使用相同的网络架构在数百个或数千个阶段进行训练的文献SOTA。
发现论文，激发创造
  • 通过诱导ReLU稳定性进行更快的对抗鲁棒性验证训练

    本篇论文研究神经网络验证中的协同设计概念，并通过改进权重稀疏性和ReLU稳定性的方法，将计算困难的验证问题转化为可处理的问题，并改善了验证的速度，该方法具有普适性。

    Sep, 2018

  • 区间传播对于训练可验证鲁棒性模型的有效性研究

    通过分析，我们展示了如何利用一种简单的边界技术（interval bound propagation，IBP）来训练大型保正可证神经网络，从而打败了验证准确率最高的现有技术，在MNIST，CIFAR-10和SVHN数据集上达到了最先进的结果。

    Oct, 2018

  • 鲁棒训练的预期紧界

    通过期望较紧的下界（ETB），我们可以将IBP的置信区间传播方法扩展到更深的神经网络，通过简单的标准训练程序在MNIST和CIFAR10上实现了令人印象深刻的鲁棒性-准确性平衡。

    May, 2019

  • 朝着稳定和高效的可验证鲁棒神经网络训练

    本文提出了一种名为CROWN-IBP的新认证敌对训练方法，该方法结合了快速的IBP边界传播和基于紧线性松弛的后向传播，能够高效地提供强大的神经网络分类器，并在MNIST和CIFAR-10数据集上超过以往所有的线性松弛和边界传递认证防御的最佳结果

    Jun, 2019

  • 通过反向平滑实现高效稳健训练

    本研究提出了一种新的初始化策略通过随机平滑过程实现单步的快速对抗训练，相较于原来的算法具有更好的稳定性和模型鲁棒性。实验结果表明，该方法可以在更短的训练时间内实现类似TRADES方法的模型稳健性。

    Oct, 2020

  • SingleProp：通过快速训练的方式生成可证明鲁棒性神经网络

    本研究提出一种新的正则化方法，可以更高效地训练神经网络并提高防御对抗攻击的准确性。在 MNIST 和 CIFAR-10 数据集上的实验证明了该方法的有效性。

    Feb, 2021

  • 评估和训练可验证的强鲁棒性神经网络

    本篇研究旨在探究interval bound propagation和CROWN的关系，并证明线性绑定线是比IBP更紧的。进一步提出CROWN的放松版本LBP，它可以用于验证大型网络以获得比IBP更低的验证误差。我们还设计了一种新的激活函数ParamRamp，并在MNIST，CIFAR-10和Tiny-ImageNet等数据集上进行了广泛实验，取得了领先的验证稳健性结果。

    Apr, 2021

  • 关于使用区间边界传播进行有保证鲁棒性训练的收敛性

    本研究就 Interval Bound Propagation 的训练过程进行了理论分析，证明了当神经网络使用该方法进行训练时，具有一定的鲁棒性保证，并可以在有足够小的扰动半径和大网络宽度的情况下，使用梯度下降法线性收敛到零的鲁棒训练误差。

    Mar, 2022

  • 基于分支定界的IBP正则化方法实现验证性对抗攻击鲁棒性

    IBP-R是一种新颖的验证训练算法， 使用扩大的域上的对抗攻击和正则化术语，并使用廉价的间隔边界传播来最小化非凸验证问题与其近似之间的差距。通过利用最近的分支换框架，我们展示了IBP-R获取了CIFAR-10上小扰动的最新验证鲁棒性-准确性折衷，并且比相关先前的工作训练要快得多。

    Jun, 2022

  • 理解带间隔传播的认证培训

    该论文研究了基于粗略区间边界传播（IBP）的证明训练方法，探讨了其较高的成功率和紧密性机制，并说明了其在可证明的训练中鲜明的鲁棒性和准确性之间的权衡。

    Jun, 2023