通过使用软分布，可以提高多类神经网络的泛化性能和学习速度。基于标签平滑的网络不会变得过于自信，而且可以显著提高模型的校准性。但是，如果使用了平滑标签，知识蒸馏的效果就会减弱。标签平滑可通过训练样本的表示，将同一类别的相同样本聚为紧密的簇，这样就导致了这些实例之间的信息损失。

Jun, 2019

本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

Jan, 2020

提出了两种新的基于实例的标签平滑方法，其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性，分配平滑因子。在各种深度神经体系结构和图像分类数据集上，我们的方法显示出比标准标签平滑更好的泛化和校准性。

Oct, 2021

本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

Nov, 2020

本文通过研究标签平滑是否能够缓解标签噪声的影响，发现标签平滑可以与标签噪声文献中的一类损失校正技术相竞争，同时发现在从嘈杂数据中提取模型时，对老师标签进行标签平滑可以提高模型性能，这对于噪声无关问题的最近发现提供了进一步的启示，说明标签平滑在某些情况下是有益的。

Mar, 2020

这项研究通过使用不同程度的平滑化技术来实现情感分类的标签平滑化，从而提高情感分类准确性，并在八个不同的数据集和深度学习架构（TextCNN、BERT 和 RoBERTa）中的训练和微调两种学习方案下，通过大量实验展示了标签平滑化在文本情感分类任务中的卓越性能。

Dec, 2023

提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。

Oct, 2022

研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。

Jun, 2019

本文提出了一种针对 seq2seq 问题的标签平滑技术，能够克服大量输出的难题，通过充分的 n-gram 重叠和语义相似性，取得了明显的效果提升，并且在不同的数据集上超越了现有技术的最佳水平。

Oct, 2020

标签平滑是一种用于深度学习的广泛采用的正则化方法，本研究探究了标签平滑对模型反演攻击的影响，发现传统的标签平滑会增加模型的隐私泄露，而采用负因子的平滑可以阻止类相关信息的提取，从而提高隐私保护性并增强模型的鲁棒性。

Oct, 2023