Aug, 2020

关于对抗训练的泛化性质

PDF
TL;DR本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。
发现论文，激发创造
  • 对抗训练线性回归的正则化性质

    最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

    Oct, 2023

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019

  • 关于 $l_0$ 有界对抗攻击的对抗训练的泛化性质

    神经网络在输入上的微小扰动会导致错误分类，本文针对截断分类器的 l0 有界对抗攻击进行理论性能分析，证明了一个独立于分布的二分类设置的 l0 有界对抗扰动的新型泛化界限。

    Feb, 2024

  • 线性回归的对抗训练中的精确权衡

    本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用，给出了任何算法能够实现的准确度之间的基本权衡，并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。

    Feb, 2020

  • 关于 l∞扰动下对抗训练估计器的渐近行为

    该研究聚焦于通过对抗性训练对抗机器学习和统计模型中的对抗攻击进行防御，通过研究广义线性模型中对抗性训练估计器的渐近行为，揭示其在 $\ell_\infty$- 扰动下的极限分布，在真实参数为 0 时对 0 处有正概率的特性，进一步提出了自适应对抗性训练，该方法能够提升对 $\ell_\infty$- 扰动下的对抗性训练的性能，并进行了数值实验来展示其对稀疏恢复能力的验证和与传统对抗性训练的实际表现的对比。

    Jan, 2024

  • 自由对抗性训练中的稳定性和泛化能力

    通过算法稳定性框架研究了对抗性训练方法的泛化性能，发现自由对抗性训练方法具有较低的训练和测试样本之间的泛化差距，并且具有更好的鲁棒性对抗黑盒攻击。

    Apr, 2024

  • 丢失模型下敌对过量风险的非渐近边界

    我们提出了一种通用方法来评估基于对抗损失的鲁棒估计在错误模型下的性能，并研究了对抗估计器的泛化性能。

    Sep, 2023

  • 对抗训练的规范不可知鲁棒性

    本文研究对抗样本攻击机器学习模型并提出一种新的攻击方法，证明最先进的对抗训练方法无法同时获得对 $\ell_2$ 和 $\ell_\infty$ 范数的健壮性，提出可能的解决方案及其局限性。

    May, 2019

  • 对抗训练的数据依赖稳定性分析

    通过加入数据分布信息，我们提供了基于随机梯度下降的对抗训练的泛化界限，分析了数据分布的变化和对抗攻击的影响。

    Jan, 2024

  • 对抗鲁棒性泛化需要更多数据

    本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

    Apr, 2018