环境 - 固有维度差对对抗漏洞的影响
通过在图像的潜在空间中对对抗样本进行对抗训练以及利用生成模型中学习到的流形信息进行双流形对抗训练,可以大大提高深度学习模型的鲁棒性,从而有效地应对多种新颖的对抗攻击。
Sep, 2020
机器学习算法的对抗性攻击是人工智能在很多实际应用中的主要障碍之一,通过在测试样本中引入微小和结构化的扰动,对高性能神经网络造成显著影响。本文在自然语言处理领域特别是文本分类任务中研究对抗性示例,探究了对抗性容易受到攻击的原因,特别是与模型固有维度的相关性。我们发现对抗性样本的嵌入维度与模型输入样本具有相同嵌入维度时的有效性之间存在很强的相关性,利用这种敏感性设计了一种对抗性防御机制。通过使用各种固有维度的集成模型来阻止攻击,我们在多个数据集上测试了其有效性。我们还研究了使用不同距离度量来衡量对抗性扰动的问题。对于所有上述研究,我们在具有不同维度的多个模型上进行了测试,并使用词向量级对抗性攻击来证实这些发现。
Apr, 2024
提出了一种有监督的语义转换生成模型,用于生成具有真实和合法语义的对抗性样本,实现了从非对抗性样本到对抗性样本的合法过渡。实验结果表明,生成的对抗性样本不仅具有更好的视觉质量,还实现了更高的攻击可迁移性和更有效的模型漏洞解释。
Feb, 2024
该研究提出了一种基于几何框架和流形重建方法的方法,以分析对抗样本的高维几何形状,并证明了不同规范的鲁棒性、球形对抗性训练的样本编号和最近邻分类器与基于球面的对抗训练的充分采样条件。
Nov, 2018
本文提供了一种可计算、直接且数学严谨的方法,用于近似高维数据的类流形的微分几何,以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中,在流形上生成新颖的数据样本,并实现了流形上的对抗训练的投影梯度下降算法,以解决神经网络对对抗性攻击的敏感性问题。
Aug, 2023
该研究旨在探究神经网络在面对针对性但难以察觉的图像扰动时的鲁棒性问题,发现鲁棒性问题与训练目标的输入梯度密切相关,不同网络拓扑的初始敏感度存在差异,输入维度增加时网络对扰动越加脆弱,且这一现象在正常或鲁棒训练后仍持续存在,但该问题可以通过增加规范化来得到缓解。
Feb, 2018
本文通过理论和实验证据表明,对于指定的输入,规定近似双射映射 $f:R^n →R^m(n≠m)$ 模型的产生了近似不连续的对抗性例子,并且这种不连续性是维数的拓扑不变性导致的。
Apr, 2023
此论文通过实验分析了通过机器学习模型学习到的流形,比较了每个纪元学习到的流形与真实数据流形的差异,并研究了流形的内在维度和拓扑特征,以及这些度量随着模型训练的变化和趋于真实数据流形度量的趋势。
Mar, 2024
本文提出了一种使用生成敌对网络在语义空间中搜索自然和易读的对抗性样本的框架,以验证黑盒子分类器的鲁棒性,并证明该方法可在图像分类,文本蕴含和机器翻译等广泛应用中有效。
Oct, 2017