本研究研究了针对神经网络策略的对抗攻击,发现现有的对抗样本制作技术能够很好地降低训练策略的测试时间性能,并且一些小干扰就能引起显著性能下降。
Feb, 2017
该论文提出了一种基于生成对抗网络 (GAN) 框架下的新防御机制来对抗黑盒攻击,在经验上表现良好并能与利用梯度下降的集成对抗训练和对抗训练等最先进的方法媲美。
May, 2019
在零和游戏的模拟人形机器人中,使用拥有不良意图的对手智能体可以生成表面上看似随机无序的行为,以攻击通过自我对弈训练而具有抵抗敌方攻击鲁棒性的最新受害者,尤其在高维度环境中更加有效,且可以诱导受害策略网络的不同反应。
本文提出了针对强化学习的对抗攻击,并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能,并进一步使用工程丢失函数的梯度信息改进了攻击方法,导致性能进一步降低。这些攻击方法被用于训练中,以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole,Mountain Car,Hopper 和 Half Cheetah 等 RL 基准测试环境中,对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。
Dec, 2017
本文研究深度学习中的对抗样本问题,总结了生成对抗样本的方法,提出了对抗样本的应用分类,并探讨了对抗样本的攻击和防御策略以及面临的挑战和潜在解决方案。
本文研究发现,基于深度强化学习的分类器同样存在容易受到篡改输入的对抗样本攻击,这导致了针对基于 DQNs 的策略诱导式攻击的出现。同时,我们验证了对抗性样本的可迁移性,提出了一种利用这种可迁移性的攻击机制,并通过对游戏学习场景的实验研究证明了其功效和影响。
Jan, 2017
本文调查了深度强化学习网络在训练时间和测试时间的对抗攻击中的鲁棒性,结果显示在非连续的训练时间攻击中,通过调整策略,Deep Q-Network (DQN) 代理能够恢复和适应对抗条件,相比较 ε- 贪婪和参数空间噪声探索方法,本文还对鲁棒性和抗干扰性进行了比较。
研究表明,即使没有内部知识,对深度卷积神经网络进行黑盒攻击并制造对抗性样本是可行的,这暴露了深度神经网络的弱点,为设计安全的网络提供了检验。
Dec, 2016
本文探讨了深度强化学习策略中的鲁棒性问题,发现通过更自然的方式在黑盒设置中可以找到灵敏度方向,且相较于最先进的对抗性训练技术,普通训练技术可以使学习到的策略更加鲁棒。该实验结果可以为构建更加鲁棒的深度强化学习策略提供帮助。
Jan, 2023
本文提出了一种名为 “deep defense” 的训练方法来解决深度神经网络易受到对抗样本攻击的问题,通过将对抗扰动的正则化器与分类目标相结合,得到的模型能够直接且准确地学习抵御潜在的攻击,实验证明该方法在不同数据集上对比对抗 / Parseval 正则化方法有更好的效果。
Feb, 2018