通过研究标签平滑策略在 NLP 领域不同任务中的应用，发现其可以有效地提高预训练模型的对抗鲁棒性，特别是在对抗攻击方面，并降低过度自信错误。

Dec, 2022

本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

Nov, 2020

本文通过研究标签平滑是否能够缓解标签噪声的影响，发现标签平滑可以与标签噪声文献中的一类损失校正技术相竞争，同时发现在从嘈杂数据中提取模型时，对老师标签进行标签平滑可以提高模型性能，这对于噪声无关问题的最近发现提供了进一步的启示，说明标签平滑在某些情况下是有益的。

Mar, 2020

本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

Jan, 2020

本文提出使用对抗训练来提高基于随机平滑的分类器的效果，并设计一种适应平滑分类器的攻击方法，通过大量实验，得出这种方法在 ImageNet 和 CIFAR-10 上的性能显著胜过所有现有的可证明的 L2 - 强健分类器，证明了这种方法是可靠的，且半监督学习和预训练能够进一步提高其效果。

Jun, 2019

通过研究对抗训练提高分类器鲁棒性的机制，本研究表明这些机制可以有效地通过简单的正则化方法（包括标签平滑和对数挤压）及高斯噪声注入来模仿，并且在不使用对抗性示例的情况下，我们能够达到强大的对抗性鲁棒性 -- 通常超过对抗性训练所能达到的水平。

Oct, 2019

通过使用软分布，可以提高多类神经网络的泛化性能和学习速度。基于标签平滑的网络不会变得过于自信，而且可以显著提高模型的校准性。但是，如果使用了平滑标签，知识蒸馏的效果就会减弱。标签平滑可通过训练样本的表示，将同一类别的相同样本聚为紧密的簇，这样就导致了这些实例之间的信息损失。

Jun, 2019

通过引入随机性提高神经网络决策边界的平滑性并排除低置信度的预测，从而提高对抗样本的鲁棒性，并结合对抗检测方法以实现更好的效果。

Jun, 2023

标签平滑是一种用于深度学习的广泛采用的正则化方法，本研究探究了标签平滑对模型反演攻击的影响，发现传统的标签平滑会增加模型的隐私泄露，而采用负因子的平滑可以阻止类相关信息的提取，从而提高隐私保护性并增强模型的鲁棒性。

Oct, 2023

提出了两种新的基于实例的标签平滑方法，其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性，分配平滑因子。在各种深度神经体系结构和图像分类数据集上，我们的方法显示出比标准标签平滑更好的泛化和校准性。

Oct, 2021