ACLMay, 2023

LABO: 通过双层优化实现最优标签规则化学习

PDF
TL;DR提出了基于优化框架的标签正则化方法。相较于传统标签平滑方法，此方法可以对每个实例进行不同的建模，通过较少的计算量和无需存储参数以及模型输出等信息，取得了在各个任务上的一致性提升。
regularizationdeep learninglabel smoothingsupervised classificationoptimization
发现论文，激发创造
  • 深入研究标签平滑

    本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

    Nov, 2020

  • 结构标签平滑正则化

    本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

    Jan, 2020

  • 探索标签平滑化

    本文研究标签平滑正则化（LSR）在随机梯度下降等随机算法训练深度神经网络中的理论及其优化效果，发现采用 LSR 能够降低方差加速收敛，提出了一种名为两阶段标签平滑算法（TSLA）的策略，在训练的前期使用 LSR，后期不再使用，通过实验证明其在训练 ResNet 模型上优于基线算法。

    Jun, 2020

  • 基于混淆惩罚的标签平滑化方法用于组织病理学图像的正则化 CNN

    该论文介绍了一种基于混淆惩罚的新型标签平滑技术，相较于传统方法，针对每个类别的模型混淆给予更高的重视，通过对公开可用的结直肠组织学数据集进行广泛实验，并与最先进的方法进行对比，通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。

    Mar, 2024

  • 理解标签平滑削弱选择性分类的原因及修复方法

    标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法，它通过均匀分布概率质量到其他类别来减少过拟合。然而，本研究揭示了标签平滑对选择性分类产生负面影响，并通过分析逻辑斜率梯度解释了这一现象。我们发现，采用逻辑斜率归一化的方法可以恢复由于标签平滑引起的选择性分类性能损失。

    Mar, 2024

  • 标签平滑是针对模型错配的鲁棒化方法

    本文研究了标签平滑 (label smoothing) 技术的两个修改：损失函数及概率估计，提出了一种改进版的 modified LSLR，并通过理论和实验分别证明了其具有更高的鲁棒性和更糟糕的概率估计性能。

    May, 2023

  • 发挥正则化策略在具有噪声标签的学习中的潜力

    本研究表明，使用交叉熵损失结合常用的正则化策略，如学习率下降、模型权重平均和数据增强等，可以优于最先进的方法，在处理学习噪声标签的挑战时，采用一种正则化策略组合可能比复杂的算法更有效。

    Jul, 2023

  • 输出正则化为什么可以缓解标签噪声问题探究

    本研究探讨利用输出正则化来缓解标签噪声对于损失函数的影响，发现当正则化系数趋于无穷大时，这些损失函数变得对称且稳健。因此，正则化系数可以被看作控制对称性和噪声鲁棒性的超参数。

    Apr, 2021

  • 标签平滑还是不平滑？当标签平滑遇到嘈杂标签

    本文探讨标签平滑（LS）和负标签平滑（NLS）在高噪声率时，与不同硬件和软件交互的效果，结果表明 NLS 是更有利的正则化方法。

    Jun, 2021

  • 中点正则化：从高度不确定性训练到保守分类

    本文介绍了标签平滑（LS）和 example pairs 平滑（PLS）两种方法，其中 PLS 方法较 LS 方法在模型泛化和分类错误率降低等方面表现更优，通过平滑处理来生成高不确定性标签的样本用于训练，实验结果证明了 PLS 方法的有效性。

    Jun, 2021