Jun, 2020

探索标签平滑化

TL;DR本文研究标签平滑正则化(LSR)在随机梯度下降等随机算法训练深度神经网络中的理论及其优化效果,发现采用 LSR 能够降低方差加速收敛,提出了一种名为两阶段标签平滑算法(TSLA)的策略,在训练的前期使用 LSR,后期不再使用,通过实验证明其在训练 ResNet 模型上优于基线算法。