ICMLJul, 2018

在训练中隐式生成随机噪声模型以提高对抗鲁棒性

PDF
TL;DR本文介绍了一种基于噪声的先验学习（NoL）方法，用于训练神经网络，使其具有内在的对抗攻击鲁棒性。该方法将具有相同损失函数的随机噪声进行隐式生成建模，并通过主成分分析的可视化工具来进一步理解对抗数据。我们的分析表明，在高排名的主成分上具有更高方差的模型，通常表现出对抗鲁棒性。我们展示了使用我们方法学习的模型对广泛攻击具有很好的性能，即使在白盒和黑盒攻击情况下和与最先进的对抗训练相结合，扩展了模型的鲁棒性，甚至超出其对抗训练的范围。
发现论文，激发创造
  • 学习生成多攻击鲁棒性噪声

    提出一种新的元学习框架，利用 Meta Noise Generator（MNG）生成多种类型扰动下的优化噪声，提高模型的鲁棒性。通过使用 MNG 生成的样本进行训练，在多种扰动下强制标签一致性。在各种数据集和广泛的扰动下验证了我们方案培训的模型的鲁棒性，表明它具有显着的优越性，计算成本微不足道。

    Jun, 2020

  • 参数噪声注入：可训练随机化提高深度神经网络对抗性攻击稳健性

    本文提出了一种 Parametric-Noise Injection (PNI) 技术，使用可训练的高斯噪声注入到神经网络的不同层中，解决 min-max 优化问题，通过对抗训练来提高网络的鲁棒性，实验表明该方法能有效提高对抗攻击下的网络鲁棒性。

    Nov, 2018

  • 通过对抗训练来改善神经语言模型

    使用对抗训练机制可以更好地规范神经语言模型中的过度拟合问题，增加嵌入向量的多样性并提高在机器翻译领域的性能。

    Jun, 2019

  • NoiLIn: 改进对抗训练与校正嘈杂标签的刻板印象

    通过在对抗训练的过程中注入随机噪声标签，我们提出了一种新的训练方法 NoiLIn，可以有效地解决模型鲁棒性和准确性之间的折中问题，并进一步提高了当今最先进的对抗训练方法的泛化能力。

    May, 2021

  • 基于模型的鲁棒深度学习：泛化到自然的离群数据

    文章提出了从基于扰动的对抗鲁棒性转向基于模型的鲁棒深度学习的新范式，并探讨了使用深度生成模型来学习自然变化模型并进一步提高深度学习对于自然变化的鲁棒性的三种新型算法，实验表明，该方法在自然情况下能够超越标准深度学习算法和基于范数的鲁棒深度学习算法。

    May, 2020

  • 愿噪声与你同在：没有对抗样本的对抗训练

    我们的研究目的在于探究一种不依赖对抗样本训练的对抗训练模型方法，通过在神经网络模型的层中嵌入高斯噪声以引入内在的随机性，并通过优化参数时考虑到随机性，我们证实了在正态分布训练下获得的随机体系结构模型在对抗环境中具有鲁棒性，并且发现所用的高斯噪声标准差对鲁棒性和基准准确性的影响与对抗训练中所使用的噪声大小影响相似。

    Dec, 2023

  • 通过对抗性噪声传播训练强大的深度神经网络

    本篇论文提出了一种名为 Adversarial Noise Propagation 的训练算法，将噪声注入隐藏层以提高深度模型的鲁棒性，并证明不同的隐藏层对模型鲁棒性和整洁的准确性有不同的贡献。该算法可有效地与其他对抗性训练方法相结合，进一步提高模型的鲁棒性。在 MNIST、CIFAR-10、CIFAR-10-C、CIFAR-10-P 和 ImageNet 上的广泛实验表明，ANP 实现了深度模型对对抗性和受损数据均具有强大的鲁棒性，并明显优于各种对抗性防御方法。

    Sep, 2019

  • 噪声抗干扰生成对抗网络

    提出了一种名为 NR-GANs 的生成对抗网络，它可以在训练图像受到干扰的情况下学习到更好的图像生成器，并且可以应用于图像降噪。该论文还引入了约束条件来鼓励噪声生成器仅抓住噪声的特定组成部分，并在三个基准数据集中展示了其有效性。

    Nov, 2019

  • 一种强健的似然函数模型用于新颖性检测

    本文针对深度神经网络在检测新颖性或异常性时容易受到输入数据微小变形的问题，提出了一个旨在学习强大的新颖性检测正确性的先验；同时，将该先验与最先进的新颖性检测方法相结合，并评估了该方法在攻击存在与否的情况下的性能表现，得到了较好的结果。

    Jun, 2023

  • NAG: 对抗生成网络

    本文提出了一种基于生成对抗网络的方法，通过优化骗过分类器的目标和增加多样性的目标训练生成器，从而模拟对抗性扰动的分布，生成多样的对抗性扰动，实现了在各种分类器上实现骗过率最大化，展示出了更好的通用性。

    Dec, 2017