Aug, 2023

鲁棒的线性回归：相变和常规范的精确权衡

PDF
TL;DR通过对线性回归模型进行测试时对抗攻击的影响研究，确定在保持给定水平的传统预测性能（准确性）的同时，任何模型可以达到的最佳鲁棒性水平。我们通过定量估计揭示了在不同情况下对抗鲁棒性和准确性之间的根本权衡。我们得到了一个精确的描述，可以区分可在不损害传统准确性的情况下实现鲁棒性的情况和可能不可避免的权衡的情况。我们的发现通过简单的实验在各种环境中经过实证验证。这项工作适用于任何特征协方差矩阵和攻击规范，扩展了此领域的先前工作。
test-time adversarial attackslinear regression modelsadversarial robustnesspredictive performancetradeoffs
发现论文，激发创造
  • 线性回归的对抗训练中的精确权衡

    本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用，给出了任何算法能够实现的准确度之间的基本权衡，并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。

    Feb, 2020

  • 基于线性回归的中级攻击框架

    该论文扩展了 ECCV 中提出的中级攻击的概念，并建立了一种中级差异到预测损失的直接线性映射框架，通过许多线性回归模型的考虑，发现对抗差异的大小与迁移性有关；在此基础上，使用随机初始化多次运行基线攻击可进一步提高性能，实现了基于转移的 l∞和 l2 攻击的新的最高水平。

    Mar, 2022

  • 对抗攻击、回归和数值稳定性正则化

    本文研究了对回归神经网络的对抗攻击问题，并提出了一种基于正则化的稳定性防御方法，该方法表现出了比之前方法更好的效果和改进了函数的数值稳定性。

    Dec, 2018

  • 精准、可靠、快速的鲁棒性评估

    在神经网络的研究中，我们开发了一种新的梯度基础的对抗攻击方法，相较于已有的攻击方法，它更可靠，可以适应广泛的对抗标准，并且在提高效率的同时，不需要进行超参数调整，这将对神经网络的鲁棒性评估做出有益的贡献。

    Jul, 2019

  • 鲁棒性和准确性之间的理论权衡

    本文介绍了在防御对抗性样本攻击的设计中，鲁棒性和准确性之间的一个权衡，提出了一种 TRADES 防御方法，该方法在真实数据集中表现良好，并在 NeurIPS 2018 对抗视觉挑战中获得第一名。

    Jan, 2019

  • 线性假设和神经网络的对抗学习保证

    研究了在 $l_r$-norm 测量下带有敌对干扰的线性假设的敌对经验 Rademacher 复杂性的上限和下限，扩展了已有的结果并提供了更精细的维度依赖性分析，并在单个 ReLU 单元和具有一层隐藏层的前馈神经网络中提供了 Rademacher 复杂度上下界。

    Apr, 2020

  • 关于对抗训练的泛化性质

    本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

    Aug, 2020

  • 对抗训练线性回归的正则化性质

    最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

    Oct, 2023

  • 对抗训练分类准确率的精确统计分析

    本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上，我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。

    Oct, 2020

  • 自适应硬阈值近似最优一致鲁棒回归

    通过使用硬阈值化的新颖变体，本文提出了一种快速的鲁棒估计器，可以有效地解决使用响应变量损坏的鲁棒线性回归问题，并通过应用于不同的扰动模型，展示了其估计能力的稳健性。

    Mar, 2019