本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。
Nov, 2020
提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。
Oct, 2022
研究发现标签平滑具有不可避免的局限性，提出了一族熵正则化技术以解决这一问题，并探究其对语言生成任务中模型性能和稀疏性的影响。
May, 2020
研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。
Jun, 2019
该论文介绍了一种基于混淆惩罚的新型标签平滑技术，相较于传统方法，针对每个类别的模型混淆给予更高的重视，通过对公开可用的结直肠组织学数据集进行广泛实验，并与最先进的方法进行对比，通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。
Mar, 2024
通过使用软分布，可以提高多类神经网络的泛化性能和学习速度。基于标签平滑的网络不会变得过于自信，而且可以显著提高模型的校准性。但是，如果使用了平滑标签，知识蒸馏的效果就会减弱。标签平滑可通过训练样本的表示，将同一类别的相同样本聚为紧密的簇，这样就导致了这些实例之间的信息损失。
本文研究了标签平滑 (label smoothing) 技术的两个修改：损失函数及概率估计，提出了一种改进版的 modified LSLR，并通过理论和实验分别证明了其具有更高的鲁棒性和更糟糕的概率估计性能。
May, 2023
标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法，它通过均匀分布概率质量到其他类别来减少过拟合。然而，本研究揭示了标签平滑对选择性分类产生负面影响，并通过分析逻辑斜率梯度解释了这一现象。我们发现，采用逻辑斜率归一化的方法可以恢复由于标签平滑引起的选择性分类性能损失。
本文研究在神经网络中加入惩罚输出分布熵的正，则可以有效防止过拟合，并且可以通过最大熵的置信惩罚和标签平滑相连，取得了基于图像识别、语言建模、机器翻译和语音识别的 6 个数据集的最新成果。
Jan, 2017
提出了基于优化框架的标签正则化方法。相较于传统标签平滑方法，此方法可以对每个实例进行不同的建模，通过较少的计算量和无需存储参数以及模型输出等信息，取得了在各个任务上的一致性提升。