自我进化的健壮训练
本文研究对抗样本攻击机器学习模型并提出一种新的攻击方法,证明最先进的对抗训练方法无法同时获得对 $\ell_2$ 和 $\ell_\infty$ 范数的健壮性,提出可能的解决方案及其局限性。
May, 2019
针对对抗样本的防御,如对抗训练,通常针对单个干扰类型(例如小的 l∞- 噪声),对于其它类型的干扰,这些防御没有保障,甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因,并训练同时对多种扰动类型具有鲁棒性的模型。
Apr, 2019
通过提出一种名为 MixTrain 的新技术,本文旨在大大提高以往可检验证训练的效率,并维持高标准的可靠性,实现了在少量训练时间内,其鲁棒性达到 95.2%,相较于现有的可检验证训练方法快 3 倍,而相对于对抗性训练快 15 倍,并且具有较好的扩展性。
Nov, 2018
本文使用语义保持的敌对攻击机制(SPA 攻击)研究了深度学习模型对联合扰动的鲁棒性,使用属性调节器生成自然可理解的扰动并使用噪声生成器生成不同敌对噪声,并结合此类扰动来生成联合扰动样本以用于深度学习模型的鲁棒性训练。实验结果表明,SPA 攻击会使性能下降,并且优于现有的防御方法。
Apr, 2023
利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题,通过在 Wasserstein ball 内惩罚扰动数据分布的方式,通过我们提出的训练过程,能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性,同时具有较小的计算和统计成本,并且我们的统计保证使我们能够有效地验证整体损失的健壮性,对于感知扰动,我们的方法与启发式方法相匹配或更好。
Oct, 2017
本文通过半无限优化和非凸对偶理论的研究,证明对抗性训练等价于在扰动分布上的统计问题,并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法,可以缓解鲁棒性与标准性能之间的平衡问题,并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。
Oct, 2021
本研究通过对线性回归中对最优线性预测器进行噪声扰动的方法,准确描述了数据增广对于标准误差的影响,并证明了最近提出的鲁棒自学习估计器(RST)可以在不损失标准误差的情况下提高鲁棒误差。经验证,使用不同的对抗训练方法进行 RST 可以改善 CIFAR-10 数据集上的标准误差和鲁棒误差。
Feb, 2020
本文提出了一种技术,能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构,同时采用非线性随机投影的方式进行训练,并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验,证明了该方法在可证明的抗干扰错误率上有着明显的提升。
May, 2018