Sep, 2023

神经网络潜在表征中的对抗性机器学习

HTML
PDF
TL;DR通过信息论的背景将此问题转化为信息失真和鲁棒性的两个新度量，我们对分布式深度神经网络（DNNs）对抗行为的鲁棒性进行了严格分析，并通过考虑6种不同的DNN架构、6种不同的分布式DNN方法和对ImageNet-1K数据集进行10种不同的对抗攻击的广泛实验分析来验证我们的理论发现。实验结果支持我们的理论发现，显示出压缩的隐含表示可以在最佳情况下将对抗性攻击的成功率降低88％，平均降低57％，与对输入空间的攻击相比。
发现论文，激发创造
  • 探索证明深度神经网络的对抗鲁棒性

    本研究论文论述了如何使用深度神经网络验证自动驾驶汽车的对抗鲁棒性问题，即证明网络的正确性以及研究自动控制器难度与机器学习的关系。

    Sep, 2017

  • 利用对抗训练模型中的潜在层漏洞

    本研究通过对鲁棒性模型的分析，发现相对于输入层抗攻击性较强的特征层是高度容易受到小幅度形变攻击的。在此基础上，我们提出了一种名为 LAT 的新技术，通过对已经进行对抗性训练的模型进行微调，以保证其特征层的鲁棒性。研究表明此方法对 MNIST、CIFAR-10 和 CIFAR-100 数据集的前沿对抗准确度有轻微提升。

    May, 2019

  • 对抗神经剪枝与潜在漏洞抑制

    本文提出了Adversarial Neural Pruning with Vulnerability Suppression (ANP-VS)方法，通过定义每个潜在特征的弱点，提出了用于抑制这些弱点的新的VS损失函数，并进一步提出使用贝叶斯框架剪枝具有高弱点的特征以减少对抗样本的弱点和损失的方法，验证结果表明，该方法不仅获得了最新的对抗鲁棒性，还提高了干净数据的性能。

    Aug, 2019

  • 探索对抗鲁棒深度神经网络的架构因素

    本文针对深度神经网络（DNN）易受到对抗攻击的问题，通过对网络结构的宽度和深度进行综合研究，发现更高的模型容量并不一定有助于对抗攻击抵抗力的提高，最后一个阶段降低容量实际上可以提高对抗攻击的鲁棒性，同样的参数预算下，存在一种最佳的结构以提高对抗攻击的鲁棒性，并提供了理论分析，这些架构可帮助进行设计更具对抗攻击鲁棒性的DNN。

    Oct, 2021

  • 从架构角度重新审视残差网络的对抗鲁棒性

    本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响，设计了一系列RobustResNets，实验证明该网络在多个数据集和对抗攻击中表现出色，达到了AutoAttack鲁棒准确率的最新记录。

    Dec, 2022

  • 对敌对鲁棒性的子网络贡献的理论视角

    通过引入半鲁棒性概念，本论文开发了一个新的理论框架，研究子网络的鲁棒性对整个网络的影响，并在多个深度神经网络体系结构、数据集和对抗攻击中进行了实证验证。

    Jul, 2023

  • 深度神经网络对未知对抗攻击的健壮性评估

    通过分析正常和对抗攻击样本的深度神经网络表示之间的差异，研究了对抗攻击的鲁棒性和现有防御机制的普适性，并揭示了L2和Linfinity范数之间的显著差异。

    Aug, 2023

  • 压缩深度学习模型对抗鲁棒性基准测试

    对于基础模型在受挫折性输入下的修剪版本的影响进行了研究，发现在提升普适性、压缩和更快的推断时间方面，模型压缩虽然具有其独特的优势，但不会削弱对抗性鲁棒性。

    Aug, 2023

  • 通过t-SNE镜头探索逐层的对抗性鲁棒性

    我们提出了一种方法来评估图像分类人工神经网络的对抗鲁棒性，该方法利用t-SNE技术进行视觉检验，并且通过比较干净和扰动后的嵌入来确定网络中的弱点。通过对比两种不同的人类设计和神经进化设计的神经网络在CIFAR-10数据集上的分析，我们发现清晰和扰动表示之间的差异在特征提取层中就开始出现，并且影响后续的分类过程，这些结果得到了t-SNE图的视觉分析的支持。

    Jun, 2024

  • 揭秘神经网络的对抗脆弱性之路

    我们研究了深度神经网络在分类任务中的对抗性鲁棒性，通过矩阵理论解释了深度神经网络对分类的对抗性脆弱性，理论结果表明输入维度增加时，神经网络的对抗性鲁棒性会降低，并且其鲁棒性只能达到最佳鲁棒性的1/√d。这一矩阵理论解释与以前的信息理论基于特征压缩的解释相一致。

    Jun, 2024