Oct, 2023
OODRobustBench：基于分布偏移的对抗鲁棒性评估与分析
OODRobustBench: benchmarking and analyzing adversarial robustness under
distribution shift
TL;DR现有研究在提高对抗鲁棒性方面取得了很大进展，但通常只在与训练数据相同分布的数据上进行测试，即内分布（ID）测试。然而，如何在输入分布转移（即出分布（OOD）测试）下实现这种鲁棒性的泛化仍不清楚。因此，我们提出了一个名为OODRobustBench的基准来全面评估OOD对抗鲁棒性，使用23种数据集级的转移（即输入分布中的自然转移）和6种威胁级的转移（即未知的对抗威胁模型）。OODRobustBench用于评估706个稳健模型，使用60.7K个对抗性评估。这个大规模分析显示：1）对抗鲁棒性在OOD泛化问题上存在严重问题；2）ID鲁棒性与OOD鲁棒性在许多分布转移下呈正线性相关，这使得可以从ID鲁棒性预测OOD鲁棒性。基于这一点，我们能够预测现有强化训练方案的OOD鲁棒性的上限。研究结果表明，实现OOD鲁棒性需要设计超出传统方法的新方法。最后，我们发现额外数据、数据增强、先进的模型架构和特定的正则化方法可以提高OOD鲁棒性。值得注意的是，与基准相比，发现的训练方案在威胁转移下表现出明显更高的鲁棒性，同时保持高的ID鲁棒性，为多攻击和未知攻击的鲁棒性提供新的有希望的解决方案。