Jun, 2024

利用乘法权重扰动提高对损毁的强敏感性

PDF
TL;DR深度神经网络在干净图像上表现出色，但在损坏图像上表现不佳。本文提出了一种改善深度神经网络对各种损坏的鲁棒性且不损害干净图像准确性的一种方法，该方法通过引入输入扰动，模拟在权重空间中的乘法扰动，并通过数据增强训练深度神经网络。实验证明该方法能显著提高模型的泛化性能，并在不同环境中证明了其有效性。
deep neural networkscorruptionsdata augmentationmultiplicative perturbationsmodel generalization
发现论文，激发创造
  • 通过协变量转移适应性提高对常见数据损坏的稳健性

    本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

    Jun, 2020

  • 深度神经网络的特征层级增强提高仿射变换鲁棒性

    本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

    Feb, 2022

  • 使神经网络对多种图像污染具有鲁棒性的简单方法

    该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

    Jan, 2020

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 微小预训练数据的损坏改进扩散模型

    通过对扩散模型（DMs）预训练数据的综合研究，发现轻微的破坏性改变可以显著提高 DMs 生成图像的质量和多样性，同时介绍了一种简单的方法 —— 条件嵌入扰动（CEP），可大幅改善 DMs 在预训练和后续任务中的性能。

    May, 2024

  • 探索使用近似乘法器增强神经网络对抗攻击的鲁棒性

    使用近似乘法器探索深度神经网络针对对抗攻击的鲁棒性改善，将准确的乘法器替换为近似乘法器在 DNN 层模型中，探索了 DNN 在可行时间内针对各种对抗攻击的鲁棒性，结果显示在无攻击情况下由于近似乘法产生了最高 7% 的准确度下降，而在攻击时，鲁棒准确度提高了最多 10%

    Apr, 2024

  • 计算机视觉中模型鲁棒性的傅里叶视角

    计算机视觉中，通过数据增强方式可以提高鲁棒性，但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高，因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。

    Jun, 2019

  • 密集联想记忆对抗性输入具有强健性

    本研究使用 Dense Associative Memory 模型框架，证明了在能量函数中交互顶点的功率足够大的极限下，与带有 ReLUs 的 DNN 等效的带有更高阶交互的模型可以更接近于人类视觉感知，并且具有更好的抵御恶意对抗攻击的能力。

    Jan, 2017

  • 可转移的学习图像压缩抗扰动

    对利用学习型图像压缩器作为预处理模块的图像分类模型进行了具有增强传递性的对抗攻击方法的探索与实验。

    Jan, 2024