Feb, 2018

神经网络的一阶对抗漏洞与输入维度

PDF
TL;DR该研究旨在探究神经网络在面对针对性但难以察觉的图像扰动时的鲁棒性问题，发现鲁棒性问题与训练目标的输入梯度密切相关，不同网络拓扑的初始敏感度存在差异，输入维度增加时网络对扰动越加脆弱，且这一现象在正常或鲁棒训练后仍持续存在，但该问题可以通过增加规范化来得到缓解。
发现论文，激发创造
  • 文本分类器中的对抗攻击与维度

    机器学习算法的对抗性攻击是人工智能在很多实际应用中的主要障碍之一，通过在测试样本中引入微小和结构化的扰动，对高性能神经网络造成显著影响。本文在自然语言处理领域特别是文本分类任务中研究对抗性示例，探究了对抗性容易受到攻击的原因，特别是与模型固有维度的相关性。我们发现对抗性样本的嵌入维度与模型输入样本具有相同嵌入维度时的有效性之间存在很强的相关性，利用这种敏感性设计了一种对抗性防御机制。通过使用各种固有维度的集成模型来阻止攻击，我们在多个数据集上测试了其有效性。我们还研究了使用不同距离度量来衡量对抗性扰动的问题。对于所有上述研究，我们在具有不同维度的多个模型上进行了测试，并使用词向量级对抗性攻击来证实这些发现。

    Apr, 2024

  • 揭秘神经网络的对抗脆弱性之路

    我们研究了深度神经网络在分类任务中的对抗性鲁棒性，通过矩阵理论解释了深度神经网络对分类的对抗性脆弱性，理论结果表明输入维度增加时，神经网络的对抗性鲁棒性会降低，并且其鲁棒性只能达到最佳鲁棒性的 1/√d。这一矩阵理论解释与以前的信息理论基于特征压缩的解释相一致。

    Jun, 2024

  • 超参数对抗训练：克服维数灾难的一种分析

    采用 ReLU 激活函数和多项式宽度网络，在自然条件下实现对抗性训练的收敛理论，且证明了近似阶跃函数的 ReLU 网络有独立兴趣。

    Feb, 2020

  • 有这样的朋友，还要什么敌人？

    本文通过研究表明，图像分类网络对于对抗性攻击的脆弱性与其性能之间是一种互相联系的关系，因为网络中最容易受攻击的输入图像方向也是它们用于实现其分类性能的方向。此外，这种关系对于构建既精确又具有抵抗对抗攻击能力的神经网络具有深远的影响。

    Jul, 2018

  • 对抗球体

    研究表明，计算机视觉模型容易受到输入微小对抗扰动攻击，而该现象是由数据流形的高维几何性质引起的，结果表明神经网络的易受小型对抗性扰动攻击是测试误差的逻辑结果。

    Jan, 2018

  • 对抗样本的有趣特性

    论文研究了神经网络模型的不确定性对于对抗样本的产生具有决定性作用，与体系结构、数据集和训练协议无关，表现为对抗误差具有与对抗扰动大小呈幂律的普适性，通过减小预测熵来提高对抗鲁棒性，在 CIFAR10 上使用神经架构搜索找到更鲁棒的架构。

    Nov, 2017

  • 对抗训练下类人行为的扩展研究

    本文探讨了神经网络对分布偏移的敏感性问题解决方案中的对抗训练，以及了解到神经网络与人类理解不同的处理方式，更进一步地研究对抗训练对于神经网络偏向形状的影响并给出可能的解释，从频率角度分析了其效果。

    Mar, 2023

  • 深度神经网络对未知对抗攻击的健壮性评估

    通过分析正常和对抗攻击样本的深度神经网络表示之间的差异，研究了对抗攻击的鲁棒性和现有防御机制的普适性，并揭示了 L2 和 Linfinity 范数之间的显著差异。

    Aug, 2023

  • 找到对抗性示例所需的维数是多少？

    研究对抗性漏洞的影响因素，得出标准 PGD 攻击的成功率呈单调递增的函数关系，表明对抗样本在高维空间局部线性模型上很普遍。

    Mar, 2023

  • 对抗性攻击如何干扰表面稳定准确的分类器

    通过对高维度输入数据的实践系统进行观察，我们展示了对于那些容易构建的对抗性攻击及其对大多数模型的威胁性，以及随机扰动的鲁棒性同时易受影响的基本特性，证实了这一现象。然而，令人惊讶的是，即使对于分类器决策边界与训练和测试数据之间只有很小的边距，也很难通过随机取样的扰动来检测到对抗性示例，因此需要更严格的对抗性训练。

    Sep, 2023