Mar, 2025
广义Kullback-Leibler散度损失
Generalized Kullback-Leibler Divergence Loss
TL;DR本研究针对Kullback-Leibler(KL)散度损失的局限性提出了改进方案,方法是引入了加权均方误差(wMSE)和结合软标签的交叉熵损失形成解耦的Kullback-Leibler(DKL)损失。通过两个方面的改进,研究推出了广义Kullback-Leibler(GKL)散度损失,并在CIFAR-10/100和ImageNet等数据集上实现了对抗训练的最新状态传播能力,显示出显著的实用价值。