Feb, 2024

学习最小方差特征通过标签增强

TL;DR我们分析了标签增强方法在模型训练中的作用,证明了采用标签增强的线性模型仅仅学习数据中的最小方差特征,而标准训练则能够学习到更高方差的特征。我们的结果表明,与标准训练相比,标签平滑和 Mixup 在对抗性扰动下对训练数据的鲁棒性较差。通过对合成数据和图像分类基准的一系列实验,我们验证了我们的理论与实践的一致性。