Jun, 2024
对抗鲁棒广义化中隐性偏见的代价
The Price of Implicit Bias in Adversarially Robust Generalization
Nikolaos Tsilivis, Natalie Frank, Nathan Srebro, Julia Kempe
TL;DR我们研究了鲁棒经验风险最小化（鲁棒 ERM）中的优化隐性偏差及其与鲁棒泛化的关系。在面对带有线性模型的对抗干扰的分类设置下，我们研究了应该为给定的扰动集合理想地应用什么类型的正则化来改善（鲁棒）泛化。然后，我们表明鲁棒 ERM 中的优化隐性偏差可以显著影响模型的鲁棒性，并确定了两种方式：通过优化算法或架构。我们通过合成数据的模拟验证了我们的预测，并实验性地研究了深度神经网络中优化隐性偏差在鲁棒 ERM 中的重要性。