Feb, 2024
交叉熵 vs. 标签平滑:神经崩溃视角
Cross Entropy versus Label Smoothing: A Neural Collapse Perspective
Li Guo, Keith Ross, Zifan Zhao, Andriopoulos George, Shuyang Ling...
TL;DR通过神经崩溃的视角研究标签平滑损失,发现标签平滑能够加快模型收敛速度,增强模型崩溃水平,提供了模型校准和性能优势的有价值见解,同时通过理论和实证相结合的方法,深化了对标签平滑和交叉熵损失之间差异的理解,并展示了神经崩溃框架在深度神经网络研究中的应用。