Mar, 2024

理解标签平滑削弱选择性分类的原因及修复方法

PDF
TL;DR标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法，它通过均匀分布概率质量到其他类别来减少过拟合。然而，本研究揭示了标签平滑对选择性分类产生负面影响，并通过分析逻辑斜率梯度解释了这一现象。我们发现，采用逻辑斜率归一化的方法可以恢复由于标签平滑引起的选择性分类性能损失。
label smoothingselective classificationlogit-level gradientsoverconfidencelogit normalisation
发现论文，激发创造
  • 标签平滑是针对模型错配的鲁棒化方法

    本文研究了标签平滑 (label smoothing) 技术的两个修改：损失函数及概率估计，提出了一种改进版的 modified LSLR，并通过理论和实验分别证明了其具有更高的鲁棒性和更糟糕的概率估计性能。

    May, 2023

  • 结构标签平滑正则化

    本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

    Jan, 2020

  • 标签平滑还是不平滑？当标签平滑遇到嘈杂标签

    本文探讨标签平滑（LS）和负标签平滑（NLS）在高噪声率时，与不同硬件和软件交互的效果，结果表明 NLS 是更有利的正则化方法。

    Jun, 2021

  • 基于混淆惩罚的标签平滑化方法用于组织病理学图像的正则化 CNN

    该论文介绍了一种基于混淆惩罚的新型标签平滑技术，相较于传统方法，针对每个类别的模型混淆给予更高的重视，通过对公开可用的结直肠组织学数据集进行广泛实验，并与最先进的方法进行对比，通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。

    Mar, 2024

  • 中点正则化：从高度不确定性训练到保守分类

    本文介绍了标签平滑（LS）和 example pairs 平滑（PLS）两种方法，其中 PLS 方法较 LS 方法在模型泛化和分类错误率降低等方面表现更优，通过平滑处理来生成高不确定性标签的样本用于训练，实验结果证明了 PLS 方法的有效性。

    Jun, 2021

  • 深入研究标签平滑

    本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

    Nov, 2020

  • 标签平滑在什么时候有帮助？

    通过使用软分布，可以提高多类神经网络的泛化性能和学习速度。基于标签平滑的网络不会变得过于自信，而且可以显著提高模型的校准性。但是，如果使用了平滑标签，知识蒸馏的效果就会减弱。标签平滑可通过训练样本的表示，将同一类别的相同样本聚为紧密的簇，这样就导致了这些实例之间的信息损失。

    Jun, 2019

  • LABO: 通过双层优化实现最优标签规则化学习

    提出了基于优化框架的标签正则化方法。相较于传统标签平滑方法，此方法可以对每个实例进行不同的建模，通过较少的计算量和无需存储参数以及模型输出等信息，取得了在各个任务上的一致性提升。

    May, 2023

  • 探索标签平滑化

    本文研究标签平滑正则化（LSR）在随机梯度下降等随机算法训练深度神经网络中的理论及其优化效果，发现采用 LSR 能够降低方差加速收敛，提出了一种名为两阶段标签平滑算法（TSLA）的策略，在训练的前期使用 LSR，后期不再使用，通过实验证明其在训练 ResNet 模型上优于基线算法。

    Jun, 2020

  • 自知自明的自适应标签平滑在自然语言生成中的应用

    提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。

    Oct, 2022