维度不变性带来的对抗样本
该研究提出了一种基于几何框架和流形重建方法的方法,以分析对抗样本的高维几何形状,并证明了不同规范的鲁棒性、球形对抗性训练的样本编号和最近邻分类器与基于球面的对抗训练的充分采样条件。
Nov, 2018
深度神经网络对任务无关的改变过于敏感,对任务相关的改变过于不敏感,导致广泛的输入空间易受到对抗攻击,传统的交叉熵损失函数存在局限性,本文提出了基于信息论分析的目标函数以克服这些问题。
Nov, 2018
本文提出测量对抗样本空间维度的新方法,发现对抗性子空间在很大的维度上相互重叠并且共享在不同模型之间,通过探究模型决策边界的相似性和转移攻击的局限性,本文表明可能存在抵抗传输攻击的防御方法。
Apr, 2017
论文研究了神经网络模型的不确定性对于对抗样本的产生具有决定性作用,与体系结构、数据集和训练协议无关,表现为对抗误差具有与对抗扰动大小呈幂律的普适性,通过减小预测熵来提高对抗鲁棒性,在 CIFAR10 上使用神经架构搜索找到更鲁棒的架构。
Nov, 2017
本研究通过理论模型和实验数据,证明了对抗样本的普遍存在是由于数据分布中存在易碎且难以理解的非鲁棒特征的存在,进而解释了目前算法鲁棒性需要的人类专家知识与数据自身特性之间的不匹配性问题。
May, 2019
机器学习算法的对抗性攻击是人工智能在很多实际应用中的主要障碍之一,通过在测试样本中引入微小和结构化的扰动,对高性能神经网络造成显著影响。本文在自然语言处理领域特别是文本分类任务中研究对抗性示例,探究了对抗性容易受到攻击的原因,特别是与模型固有维度的相关性。我们发现对抗性样本的嵌入维度与模型输入样本具有相同嵌入维度时的有效性之间存在很强的相关性,利用这种敏感性设计了一种对抗性防御机制。通过使用各种固有维度的集成模型来阻止攻击,我们在多个数据集上测试了其有效性。我们还研究了使用不同距离度量来衡量对抗性扰动的问题。对于所有上述研究,我们在具有不同维度的多个模型上进行了测试,并使用词向量级对抗性攻击来证实这些发现。
Apr, 2024
该研究提出了一个确定深度学习模型标签更改是否合理的框架,并且定义了一个自适应的鲁棒性损失,使用导出的经验公式,开发了相应的数据增强框架和评估方法,证明了其对确定性标签下的一阶最近邻分类的维持一致性,并提供了实证评估结果。
Jun, 2021
本文对机器学习模型在视觉领域中面临的对抗性攻击和防御方法进行了广泛探讨,并讨论了不同攻击和防御方法的优点和缺点。旨在提供广泛的领域覆盖和机械进攻和防御机制的直观理解。
Nov, 2019