Oct, 2023

优化超参数加强快速最小范数攻击

PDF
TL;DR利用梯度攻击评估机器学习模型的对抗鲁棒性具有挑战性。本论文通过自动化选择损失函数、优化器、步幅调度器及相关超参数，以及超参数优化，展示了超参数优化如何改善快速最小范数攻击的有效性。我们通过多个鲁棒模型的广泛评估证明了超参数优化对快速最小范数攻击的改进效果。我们在此 https URL 上发布了我们的开源代码。
adversarial robustnessmachine learning modelsgradient-based attackshyperparameter optimizationfast minimum-norm attacks
发现论文，激发创造
  • 自适应范数约束的快速最小范敌对攻击

    本文提出了一种既能处理不同的扰动模型，对超参数选择具有鲁棒性，又不需要对抗起始点，且仅需几步轻量级的迭代即可收敛的快速最小范数攻击方法（FMN），并通过广泛的实验表明 FMN 在收敛速度和计算时间方面明显优于现有的攻击方法，同时报告了相当或更小的扰动尺寸。

    Feb, 2021

  • 精准、可靠、快速的鲁棒性评估

    在神经网络的研究中，我们开发了一种新的梯度基础的对抗攻击方法，相较于已有的攻击方法，它更可靠，可以适应广泛的对抗标准，并且在提高效率的同时，不需要进行超参数调整，这将对神经网络的鲁棒性评估做出有益的贡献。

    Jul, 2019

  • 通过最小值最大化优化实现的敌对攻击生成

    本文利用多域最小最大优化的一般性框架，推进了不同类型的对抗性攻击设计，并展示了该统一框架在攻击目标函数，抵御多输入下的统一扰动，生成攻击和数据变换下的对抗攻击等方面的优异性能和整体性工具的作用。

    Jun, 2019

  • 快速自适应边界攻击生成最小扭曲的对抗样本

    本文提出了一种新的基于 $l_p$-norms 的白盒对抗攻击方法，通过最小化扰动的大小来改变特定输入的类别，这个方法具有几何直观性，是一种性能优越的攻击方法，比专门针对一个 $l_p$-norm 的攻击方法具有更好的鲁棒性，并且可以解决梯度掩盖的问题。

    Jul, 2019

  • 惩罚梯度范数以有效提高深度学习的推广性能

    本文提出通过附加惩罚损失函数的梯度范数来提高深度神经网络的泛化性能，使用我们的方法可以改善不同数据集上的各种模型的泛化性能，并且最佳情况下可在这些任务上提供新的最先进性能。

    Feb, 2022

  • 基于强凸性引导的超参数优化方法用于更平缓的损失函数

    我们提出了一种新颖的白盒方法来进行超参数优化，通过最小化损失函数的强凸性来改善其平坦性，利用神经网络的结构推导出近似求解强凸参数的闭式方程，并随机搜索使其最小化的超参数配置，通过在 14 个分类数据集上的实验，我们展示了我们的方法在运行时间的一小部分下取得了强大的性能。

    Feb, 2024

  • 通过学习优化器提高对抗训练

    本文介绍针对深度学习模型的对抗攻击防御机制之一 —— 双方博弈的对抗训练。作者将学习 - to-learn 框架应用于对抗训练中，利用递归神经网络训练出更加优秀的内部优化器，同时对优化器参数和模型参数进行联合训练，从而提高了模型的鲁棒性。

    Apr, 2020

  • 攻击基准：对于对抗性样本的基于梯度的攻击评估

    我们提出了 AttackBench 作为第一个用于评估对抗样本优化的攻击的公平比较框架，通过分类梯度攻击、定义优化度量标准和限制查询次数等方式评估攻击的效果和效率，并通过对超过 100 种攻击实现在 CIFAR-10 和 ImageNet 模型上的 800 多种不同配置的实证分析，发现只有很少的攻击能够超越所有其他竞争方法，同时揭示了阻碍许多攻击找到更好解决方案或运行的几个实现问题，我们将 AttackBench 作为一个公开可用的基准，并致力于不断更新以包含和评估新的梯度攻击方法。

    Apr, 2024

  • 黑盒函数的逐步优化

    本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。

    Jun, 2019

  • 超参数问题中最小权重范式模型不总是具有良好的泛化能力

    通过实证发现，自适应方法在深度神经网络的训练中相比随机梯度下降可以有更好的泛化能力，需要较少的调整，同时不一定得到更小的权重范数。

    Nov, 2018