Nov, 2023
神经塌陷的稳健性和稳健性的神经塌陷
On the Robustness of Neural Collapse and the Neural Collapse of Robustness
Jingtong Su, Ya Shi Zhang, Nikolaos Tsilivis, Julia Kempe
TL;DR神经坍缩是神经网络训练结束时的奇特现象，它的特征向量和分类权重收敛为一个非常简单的几何结构（简单形）。本研究探究这些简单形的稳定性质，发现它们容易受到小型对抗性攻击的影响，扰动的示例可以在简单形的顶点之间跳跃。此外，作者分析了对抗性扰动优化的网络几何结构，发现神经坍缩在这些情况下普遍存在，干净和扰动的表示形成一致的简单形，并构建了一个鲁棒的近邻分类器。通过研究神经网络内部坍缩量的传播，作者发现了鲁棒和非鲁棒机器学习模型的新特性，并表明早期层次与后期层次在扰动数据上保持可靠的简单形。