Jun, 2024
自适应对抗性交叉熵损失用于尖锐感知最小化
Adaptive Adversarial Cross-Entropy Loss for Sharpness-Aware Minimization
TL;DR近期学习算法的进展表明,损失曲面的陡峭程度是提高泛化差距的有效指标。本研究引入创新的方法进一步增强模型泛化能力,提出了自适应对抗交叉熵(AACE)损失函数替代Sharpness-Aware Minimization(SAM)的扰动,同时提出了一种利用AACE损失生成扰动的新方法,实验证实了AACE的有效性,并通过在各种数据集上使用Wide ResNet和PyramidNet进行图像分类任务的实验,取得了改进的性能。