标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法，它通过均匀分布概率质量到其他类别来减少过拟合。然而，本研究揭示了标签平滑对选择性分类产生负面影响，并通过分析逻辑斜率梯度解释了这一现象。我们发现，采用逻辑斜率归一化的方法可以恢复由于标签平滑引起的选择性分类性能损失。

Mar, 2024

本文研究了标签平滑 (label smoothing) 技术的两个修改：损失函数及概率估计，提出了一种改进版的 modified LSLR，并通过理论和实验分别证明了其具有更高的鲁棒性和更糟糕的概率估计性能。

May, 2023

本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

Jan, 2020

本文通过研究标签平滑是否能够缓解标签噪声的影响，发现标签平滑可以与标签噪声文献中的一类损失校正技术相竞争，同时发现在从嘈杂数据中提取模型时，对老师标签进行标签平滑可以提高模型性能，这对于噪声无关问题的最近发现提供了进一步的启示，说明标签平滑在某些情况下是有益的。

Mar, 2020

本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

Nov, 2020

本文介绍了标签平滑（LS）和 example pairs 平滑（PLS）两种方法，其中 PLS 方法较 LS 方法在模型泛化和分类错误率降低等方面表现更优，通过平滑处理来生成高不确定性标签的样本用于训练，实验结果证明了 PLS 方法的有效性。

Jun, 2021

通过使用软分布，可以提高多类神经网络的泛化性能和学习速度。基于标签平滑的网络不会变得过于自信，而且可以显著提高模型的校准性。但是，如果使用了平滑标签，知识蒸馏的效果就会减弱。标签平滑可通过训练样本的表示，将同一类别的相同样本聚为紧密的簇，这样就导致了这些实例之间的信息损失。

Jun, 2019

本文研究标签平滑正则化（LSR）在随机梯度下降等随机算法训练深度神经网络中的理论及其优化效果，发现采用 LSR 能够降低方差加速收敛，提出了一种名为两阶段标签平滑算法（TSLA）的策略，在训练的前期使用 LSR，后期不再使用，通过实验证明其在训练 ResNet 模型上优于基线算法。

Jun, 2020

研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。

Jun, 2019

本文介绍了一种新型标签噪声类型，称为 BadLabel，旨在增强现有 LNL 算法的鲁棒性，并提出了一种基于对抗性的鲁棒 LNL 方法来解决 BadLabel 的问题，实验证明该方法能有效地提高模型的泛化性能。

May, 2023