健壮深度学习作为最优控制:洞见和收敛保证
本篇研究通过分类对抗性攻击和防御方法,提出三类半定界数理优化问题,即对抗 (再) 训练、正则化方法和认证防御,并调查了最近的研究成果和挑战以及展望未来的发展。
Jul, 2020
本文基于鲁棒控制的视角讨论神经 ODE 的对抗训练,引入了一种替代经验风险最小化的方法,通过可靠处理输入扰动来实现可靠结果。将深度神经网络解释为控制系统离散化,利用控制理论的强大工具来开发和理解机器学习。我们将带有扰动数据的对抗性训练描述为极小极大最优控制问题,并推导出 Pontryagin's Maximum Principle 形式的一阶最优性条件。我们提供了鲁棒训练的新解释,提出了一种替代加权技术,并在低维分类任务上进行了测试。
Oct, 2023
本文研究神经网络的鲁棒性问题,通过对抗训练的方法提高神经网络对抗扰动的鲁棒性。研究表明,通过对抗训练,网络可以收敛到一个鲁棒的分类器,传统的交叉熵损失函数不适用于训练鲁棒的分类器,也因此需要引入代理损失,并证明鲁棒插值需要更大的模型容量。
Jun, 2019
本文提出了一种并发对抗训练和权重修剪的框架,可以在保持对抗鲁棒性的情况下实现模型压缩,同时解决对抗训练的困境,并进一步研究了关于传统设置下的权重修剪的两个假设。
Mar, 2019
通过稳健优化方法探究神经网络对抗攻击的鲁棒性,设计出对抗攻击和训练模型的可靠方法,提出对于一阶对手的安全保证,并得到针对广泛对抗攻击的高鲁棒性网络模型。
Jun, 2017
提出了一个使用鲁棒性优化(RO)增加人工神经网络(ANN)本地稳定性的通用框架。该算法是通过替代最小化 - 最大化过程实现的,该网络的损失是在每个参数更新时生成的扰动样本上最小化的。实验结果表明,该方法提高了网络对现有敌对示例的鲁棒性,同时使生成新的敌对示例更加困难,而且该算法还提高了网络在原始测试数据上的准确性。
Nov, 2015
本文通过半无限优化和非凸对偶理论的研究,证明对抗性训练等价于在扰动分布上的统计问题,并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法,可以缓解鲁棒性与标准性能之间的平衡问题,并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。
Oct, 2021
本文介绍针对深度学习模型的对抗攻击防御机制之一 —— 双方博弈的对抗训练。作者将学习 - to-learn 框架应用于对抗训练中,利用递归神经网络训练出更加优秀的内部优化器,同时对优化器参数和模型参数进行联合训练,从而提高了模型的鲁棒性。
Apr, 2020
本文利用多域最小最大优化的一般性框架,推进了不同类型的对抗性攻击设计,并展示了该统一框架在攻击目标函数,抵御多输入下的统一扰动,生成攻击和数据变换下的对抗攻击等方面的优异性能和整体性工具的作用。
Jun, 2019
该研究提出了一个确定深度学习模型标签更改是否合理的框架,并且定义了一个自适应的鲁棒性损失,使用导出的经验公式,开发了相应的数据增强框架和评估方法,证明了其对确定性标签下的一阶最近邻分类的维持一致性,并提供了实证评估结果。
Jun, 2021