线性回归的对抗训练中的精确权衡

Feb, 2020

线性回归的对抗训练中的精确权衡

Precise Tradeoffs in Adversarial Training for Linear Regression

Adel Javanmard, Mahdi Soltanolkotabi, Hamed Hassani

TL;DR本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用，给出了任何算法能够实现的准确度之间的基本权衡，并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。

Abstract

Despite breakthrough performance, modern learning models are known to be highly vulnerable to small adversarial perturbations in their inputs. While a wide variety of recent \emph{adversarial training} methods have been effective at improving robustness to perturbed inputs (

adversarial training robust accuracy standard accuracy linear regression model overparametrization

发现论文，激发创造

对抗训练分类准确率的精确统计分析

本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上，我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。

Oct, 2020

对抗训练线性回归的正则化性质

最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

Oct, 2023

理解和减轻稳健性与准确性之间的权衡

本研究通过对线性回归中对最优线性预测器进行噪声扰动的方法，准确描述了数据增广对于标准误差的影响，并证明了最近提出的鲁棒自学习估计器（RST）可以在不损失标准误差的情况下提高鲁棒误差。经验证，使用不同的对抗训练方法进行 RST 可以改善 CIFAR-10 数据集上的标准误差和鲁棒误差。

Feb, 2020

对抗训练可能会损害泛化

本文研究了对抗训练在提高鲁棒精度（对抗方面）的同时又有可能降低标准精度（没有对抗方面）。通过构造凸学习问题，我们发现鲁棒精度和泛化能力之间存在基本的紧张关系，而利用未标记的数据进行鲁棒自我训练可以消除这种关系。

Jun, 2019

局部线性化对抗鲁棒性

本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

Jul, 2019

关于对抗训练的泛化性质

本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

Aug, 2020

半无限约束学习的对抗鲁棒性

本文通过半无限优化和非凸对偶理论的研究，证明对抗性训练等价于在扰动分布上的统计问题，并对此进行完整的表征。我们提出一种基于 Langevin Monte Carlo 的混合方法，可以缓解鲁棒性与标准性能之间的平衡问题，并取得了 MNIST 和 CIFAR-10 等领域最先进的结果。

Oct, 2021

鲁棒性可能与准确性相矛盾

我们证明了，追求对抗鲁棒性和标准泛化之间存在固有的紧张关系，训练鲁棒性模型不仅可能更加费时，也会导致标准准确性的降低，并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。

May, 2018

对抗训练的高维模型：几何与权衡

在高维度背景下，研究基于边界的线性分类器中的对抗性训练，提出了一个可以研究数据和对手几何结构相互作用的可行数学模型，精确描述了足够统计量的敌对经验风险最小化，揭示了存在可以在不损失准确性的情况下进行防御的方向，并且证明了防御非鲁棒特征在训练中的优势，作为一种有效的防御机制。

Feb, 2024

分类中分布参数与准确性 - 稳健性权衡的相互作用

本文研究了在对抗训练中通过二元高斯混合分类问题的分析，得到最优贝叶斯分类器和最优对抗分类器之间的区别，并研究了不同分布参数（类别中心之间的距离、类别比例和协方差矩阵）对精度差异的影响，提出在一定条件下，平衡类别可以实现对抗分类器的自然误差和精度差距的局部最优化，并证明在最坏情况下精度差距为 Theta（epsilon^2），这在理论上表明了实现近乎完美精度的强健分类器的可能性，这在实际算法中很少体现。

Jul, 2021