Oct, 2019

神经网络的活跃子空间：结构分析与通用攻击

PDF
TL;DR本文提出使用主动子空间方法分析神经网络的内部结构和漏洞，利用主动子空间量化中间层的活跃神经元数量并提出序列压缩的新型神经网络 ASNet，同时发现一种能够高概率误分类数据集的通用对抗攻击向量。在 CIFAR-10 数据集上进行的实验表明，ASNet 可实现 23.98 的参数和 7.30 的浮点运算量的降低，通用主动子空间攻击向量较现有方法实现了约 20% 的高攻击成功率。
发现论文，激发创造
  • 深度神经网络中的有效可扩展不确定性量化学习主动子空间

    本研究提出了一种新颖的方案，通过构建神经网络参数的低维子空间（称为活跃子空间）来解决贝叶斯深度学习中由于参数空间的高维导致的计算复杂性限制。我们展示了显著降低的活跃子空间，通过 Monte Carlo（MC）采样方法或变分推断实现了可行和可扩展的贝叶斯推断，为各种回归任务提供了可靠的预测和鲁棒的不确定性估计。

    Sep, 2023

  • 学习神经网络子空间

    本文通过一次性的方法在神经网络中学习高准确度的线、曲线、和单纯形来寻找各种应对方法，达到了独立训练网络套索并在训练成本上类似的计算成本，增加了分类器的鲁棒性和准确性。

    Feb, 2021

  • 稀疏且可转移的通用奇异向量攻击

    通过截断幂迭代提供隐层雅可比矩阵的 $(p,q)$- 奇异向量的稀疏通用白盒对抗攻击，我们的方法在不同设置下使用 ImageNet 验证子集进行了分析，在仅破坏 5% 的像素并使用 256 个样本用于扰动拟合的情况下，取得了与稠密基线可比的超过 50% 欺骗率的结果。我们还展示了我们的算法允许更高的攻击强度而不影响人类解决任务的能力。此外，我们发现所构建的扰动在不同模型之间具有很高的可转移性，而不会显著降低欺骗率。我们的发现证明了最先进模型对稀疏攻击的脆弱性，并凸显了开发强大的机器学习系统的重要性。

    Jan, 2024

  • 子空间攻击：利用有前途的子空间进行查询高效黑盒攻击

    本文介绍如何在黑箱攻击中利用参考模型的梯度来降低查询复杂度，提高黑箱攻击的效率和成功率，实验结果表明，与现有技术相比，本文提出的方法可以在查询数量上获得 2x 到 4x 的降低，并且具有更低的失败率。

    Jun, 2019

  • 利用主动子空间捕捉深度生成模型分子设计中的认知模型不确定性

    通过利用低维活跃子空间捕捉模型参数的不确定性，提出了一种基于活跃子空间的不确定性量化方案，用于高维参数空间中估计表观模型不确定性，并展示了在表观不确定性下探索分子优化的模型多样性的实证研究，为生成分子设计中的不确定性问题提供了解决方法。

    Apr, 2024

  • 子空间节点修剪

    使用节点剪枝和子空间形成技术，该论文提出了可以在保持网络性能最大化的同时去除计算单元来提高深度网络的效率，通过重新组织网络和使用正交子空间来选择合适的剪枝比例，并在 VGG 和残差网络中验证了该方法的优越性。

    May, 2024

  • 结构性对抗攻击：向通用实现和更好的可解释性迈进

    本文提出一种名为 StrAttack 的结构化攻击模型，通过滑动掩模来提取关键的空间结构并具有更好的可解释性，该模型能够实现与现有攻击方法相同水平的 Lp 范数失真的强组稀疏化。实验证明 StrAttack 在 MNIST、CIFAR-10 和 ImageNet 数据集上的攻击效果是有效的。

    Aug, 2018

  • 利用低维参数子空间表示输入变换

    通过子空间可配置网络探讨模型权重最适合为参数化的连续转换低维线性子空间的配置假设，为解决输入转换和最优模型权重之间的基本关系提供了一种新的方法。

    May, 2023

  • 深度子空间聚类网络

    本文提出了一种基于深度自编码器的无监督子空间聚类新颖深度神经网络架构，其中引入了一种自相似层，以模拟传统子空间聚类方法中的 “自相似” 属性。该方法能够在非线性方式下对具有复杂结构的数据点进行聚类，并且在实验中表现出优于现有方法的性能。

    Sep, 2017

  • 子空间对抗训练

    本篇论文从优化的角度出发，揭示了每个样本快速生长的梯度和过拟合之间的紧密联系，提出了一种新的对抗训练方法，“子空间对抗训练 (Sub-AT)”，并成功解决了过拟合的问题，显著提高了鲁棒性，实现了最先进的单步对抗训练 (单步 AT) 性能。

    Nov, 2021