Sep, 2021

BulletTrain：通过边界示例挖掘加速鲁棒神经网络训练

PDF
TL;DR提出了一种新的基于边界样例挖掘的技术 BulletTrain，通过动态预测重要样例并优化算法来大幅减少机器学习中对强鲁棒性训练所需的计算成本，并成功将其应用于多个已有的算法，包括 TRADES 和 MART 等，并在 CIFAR-10 和 CIFAR-100-C 的情况下取得了 1.7 倍速度提升。
neural network robustnessmachine learningbullettrainrobust trainingcomputational cost
发现论文，激发创造
  • MixTrain: 可验证鲁棒神经网络的可扩展训练

    通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

    Nov, 2018

  • 通过反向平滑实现高效稳健训练

    本研究提出了一种新的初始化策略通过随机平滑过程实现单步的快速对抗训练，相较于原来的算法具有更好的稳定性和模型鲁棒性。实验结果表明，该方法可以在更短的训练时间内实现类似 TRADES 方法的模型稳健性。

    Oct, 2020

  • 自适应认证培训：追求更好的准确性与鲁棒性之间的权衡

    在此研究中，我们提出了一种基于自适应认证半径训练的新方法，旨在在保持高标准准确性的同时，提高模型的鲁棒性和准确性，从而推进现有准确性与鲁棒性的权衡。我们在 MNIST、CIFAR-10 和 TinyImageNet 数据集上验证了该方法的有效性，尤其在 CIFAR-10 和 TinyImageNet 上，与基准方法相比，我们的方法在相同标准准确性水平下能够提供高达两倍的鲁棒性。

    Jul, 2023

  • 基于可验证对抗性鲁棒性的贝叶斯推断

    通过贝叶斯学习的视角考虑深度神经网络的对抗训练，并提出了一种具有可证明保证的贝叶斯神经网络（BNN）的对抗训练的原则性框架。该方法可在 MNIST、FashionMNIST 和 CIFAR-10 上训练出可证明鲁棒性的模型，并用于不确定性校准。这是第一次直接训练可证明的 BNN，可促进在安全关键应用中的部署。

    Feb, 2021

  • 神经网络的认证稳健准确性由于贝叶斯误差有界

    通过采用贝叶斯误差进行韧性分析，本文探讨了在考虑数据分布的不确定性的情况下，获得可证实韧性和保持准确性的极限，并建立了基于个别类别和边界分布的可证实韧性准确性的上界。

    May, 2024

  • 对抗训练的分割原则

    对抗性示例的存在揭示了深度神经网络的基本弱点。我们的主要贡献是一种通用方法，使分类器具有显着的鲁棒性，而其自然准确性的降低仅仅是微小或可忽略的。

    Oct, 2023

  • 区间传播对于训练可验证鲁棒性模型的有效性研究

    通过分析，我们展示了如何利用一种简单的边界技术（interval bound propagation，IBP）来训练大型保正可证神经网络，从而打败了验证准确率最高的现有技术，在 MNIST，CIFAR-10 和 SVHN 数据集上达到了最先进的结果。

    Oct, 2018

  • 桥接对抗训练

    本研究发现，即使具有类似的鲁棒性，经过对抗训练的模型在边际和平滑性方面可能具有显着不同的特征。在此基础上，我们研究了不同正则化器的影响，并发现平滑正则化器对最大化边缘的负面影响。基于分析结果，我们提出了一种名为桥接对抗训练的新方法，该方法通过将干净示例和对抗示例之间的差距进行桥接来缓解负面影响。我们提供理论和实证证据表明互补对抗训练提供了稳定且更好的鲁棒性，特别是对于大型扰动。

    Aug, 2021

  • 可学习的边界引导对抗训练

    本研究通过引入已训练的干净模型的分类边界来指导对抗训练，约束对抗性模型的 logits 与自然数据下的干净模型的 logits 相似，从而提高了模型的鲁棒性和自然数据的准确性。实验证明，该方法在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上具有新的最先进的鲁棒性，无需额外的真实或合成数据。

    Nov, 2020

  • 朝着高准确度的概率鲁棒性认证

    通过提出一种新的方法，同时追求高准确性和具有认证的概率鲁棒性，我们的实验显示该方法在多个模型和数据集上的认证率和准确性方面明显优于现有方法。

    Sep, 2023