Oct, 2023

快速传播是更好的：通过抽取子网络加速单步对抗训练

PDF
TL;DR在这项工作中，我们提出了一种利用模型的内部构建块来提高效率的方法，通过在训练过程中动态地采样轻量级子网络作为替代模型，加速前向和后向传递以实现高效的对抗训练，并通过理论分析证明了单步对抗训练和采样子网络可以提高模型的鲁棒性。相比之前的方法，我们的方法不仅减少了训练成本，而且实现了更好的模型鲁棒性。
adversarial trainingsingle-step attacksinterior building blocksefficiencymodel robustness
发现论文，激发创造
  • 带有 Dropout 调度的单步对抗训练

    该研究论文主要讨论了深度学习模型在计算机视觉等领域中的应用，以及由于鲁棒性不足而面临的对抗攻击问题，提出了单步对抗性训练方法及其存在的问题，并针对该问题提出了多步鲁棒性训练方法，并通过实验证明该方法得到的模型具有较强的鲁棒性。

    Apr, 2020

  • 通过反向平滑实现高效稳健训练

    本研究提出了一种新的初始化策略通过随机平滑过程实现单步的快速对抗训练，相较于原来的算法具有更好的稳定性和模型鲁棒性。实验结果表明，该方法可以在更短的训练时间内实现类似 TRADES 方法的模型稳健性。

    Oct, 2020

  • 单步对抗训练正则化方法

    该论文提出了三种新的正则化方法，用于单步对抗训练，以解决模型的伪鲁棒性问题，并在机器学习、计算机视觉等领域取得与经过复杂多步训练的模型相当的性能。

    Feb, 2020

  • 快速 AdvProp

    本文介绍了一种名为 Fast AdvProp 的改进 Adversarial Propagation（AdvProp）的方法，通过去除不必要的训练组件，提高了训练速度，并采用不同于其他训练配方的具有纠缠性的学习方法，进一步提高了模型性能，在不增加训练成本的情况下，成功地在多个视觉基准上取得了优异表现。

    Apr, 2022

  • 子空间对抗训练

    本篇论文从优化的角度出发，揭示了每个样本快速生长的梯度和过拟合之间的紧密联系，提出了一种新的对抗训练方法，“子空间对抗训练 (Sub-AT)”，并成功解决了过拟合的问题，显著提高了鲁棒性，实现了最先进的单步对抗训练 (单步 AT) 性能。

    Nov, 2021

  • 通过潜在对抗扰动实现可靠的快速对抗训练

    本研究提出了一种基于潜在对抗扰动的单步对抗性训练方法，通过梯度正则化来确保性能稳定，并且与现有的基于输入空间的对抗性训练方法相比，具有更高的计算效率和更好的表现。

    Apr, 2021

  • 探究快速对抗性训练

    本文通过实验研究快速对抗训练的行为并显示其成功的关键在于从过度拟合弱攻击中恢复。我们进一步扩展了这一发现以改善快速对抗训练，展示了与强对抗训练相比更优异的鲁棒性准确性以及更短的训练时间。

    Jun, 2020

  • SingleProp：通过快速训练的方式生成可证明鲁棒性神经网络

    本研究提出一种新的正则化方法，可以更高效地训练神经网络并提高防御对抗攻击的准确性。在 MNIST 和 CIFAR-10 数据集上的实验证明了该方法的有效性。

    Feb, 2021

  • 双边对抗训练：快速训练更健壮的模型以抵御对抗性攻击

    本文提出了一种 Bilateral Adversarial Training 方法，使用一步定向攻击生成对抗样本来训练一个抗攻击性更强的神经网络，实验结果表明该方法对于对抗性攻击的鲁棒性有显著提升。

    Nov, 2018

  • 离散对抗训练实现模型的鲁棒性

    本文提出离散对抗攻击的在线增强方法，使用基于最佳优先搜索和随机抽样的攻击策略来生成对抗性样本，结果表明使用随机抽样方法能够显著提高鲁棒性，而且比之前使用的离线增强方法速度提高了约 10 倍。

    Apr, 2021