ICMLApr, 2018

Fortified Networks: 通过建模隐藏表示的流形来提高深度网络的鲁棒性

PDF
TL;DR本文提出 Fortified Networks，通过加强深度神经网络的隐藏层来提高深度网络的鲁棒性，尤其是在面对对抗性攻击的情况下。Fortified Networks 主要通过识别隐藏状态是否脱离了数据流形来操作，将隐藏状态映射回数据流形。实验显示该方法能够提高深度网络的鲁棒性，并且优于对输入层进行增强。
发现论文，激发创造
  • 状态再造网络：通过对隐藏表示的分布进行建模来提高泛化能力

    本文介绍了一种名为 “状态再构建” 的方法，旨在解决有限标记数据下现有神经网络方法的脆弱性问题，通过建模隐藏状态的分布并投影测试期间观察到的隐藏状态，从而帮助神经网络更好地泛化，特别是在标记数据稀缺的情况下，并且有助于克服采用对抗训练实现稳健泛化的挑战。

    May, 2019

  • 使用对抗样本的流形正则化深度神经网络

    提出一种新的深度神经网络训练目标函数，叫做流形规范网络（MRnet），通过最小化样本和对抗样本的多层嵌入结果之间的差异来提高对抗性鲁棒性，实验结果表明 MRnet 更具有对抗性鲁棒性，并帮助我们在流形上推广表示。此外将 MRnet 和 dropout 相结合，为三个著名的基准测试数据集（MNIST，CIFAR-10 和 SVHN）实现了有竞争的分类性能。

    Nov, 2015

  • 通过限制深度神经网络的隐藏空间来进行对抗性防御

    针对深度神经网络易受对抗性攻击的问题，本文提出了一种基于特征重构的防御方法，具体来说，通过将每个类别的特征强制限制在一个凸多面体内，使得网络学习到的决策区域更加独特和远离各个类别的边界，提高了网络的鲁棒性，同时在干净图像的分类性能上不会退化。

    Apr, 2019

  • 拆分对抗鲁棒性与泛化

    为了解决网络鲁棒性和泛化性之间的矛盾问题，研究通过对数据流形的研究证明对流形上对抗性样本的限制可以提高模型泛化能力且鲁棒性和泛化性并不矛盾。

    Dec, 2018

  • 混合流形学习：通过插值隐藏状态获得更好的表示

    Manifold Mixup 是一种正则化方法，有助于训练神经网络在多个隐藏层级别上具有更平滑的决策边界，并提高其对单步对抗攻击的鲁棒性和测试日志似然率。

    Jun, 2018

  • 通过实行局部和全局紧凑性以提高对抗鲁棒性

    本文提出了对抗性分歧减小网络（Adversary Divergence Reduction Network），旨在通过对深度神经网络中间层的本地 / 全局紧凑性和聚类假设的强制执行，增强对抗训练的鲁棒性，并与现有的最新对抗性训练方法进行了比较，实验证明该方法可以进一步提高网络的鲁棒性和预测性能。

    Jul, 2020

  • 深度神经网络的生物启发式防卫对抗攻击技术

    应用生物物理学原理进行非线性计算后，我们开发了一种方案来训练深度神经网络以使它们对抗性攻击具有强鲁棒性。该方案生成高度非线性，饱和的神经网络，即使在没有遭受敌对的选择性训练样本的情况下，在 MNIST 上也实现了状态的最先进表现。

    Mar, 2017

  • 双流形对抗性鲁棒性：抵御 Lp 和非 Lp 对抗攻击

    通过在图像的潜在空间中对对抗样本进行对抗训练以及利用生成模型中学习到的流形信息进行双流形对抗训练，可以大大提高深度学习模型的鲁棒性，从而有效地应对多种新颖的对抗攻击。

    Sep, 2020

  • 深度网络的几何鲁棒性：分析与提升

    本文提出了一种简单且可扩展的算法 ManiFool，用于测量深度神经网络对于几何变换的不变性，进而提出了一种新的对抗训练方案以提高深度神经网络的不变性。

    Nov, 2017

  • 对抗稳健性作为学习表示的先验

    本研究表明，鲁棒优化可以被重新定义为对深度神经网络学习特征的先验约束，经过鲁棒模型学习的特征表示方法能够解决标准神经网络表示方法的缺陷，并显著提高了高水平的输入编码能力。同时，这些特征表示方法具有相对可逆性，允许直接可视化和操纵输入的显著特征，提示使用对抗性鲁棒性来改善学习表示方法的可行性。

    Jun, 2019