KDDJun, 2021

中点正则化：从高度不确定性训练到保守分类

PDF
TL;DR本文介绍了标签平滑（LS）和 example pairs 平滑（PLS）两种方法，其中 PLS 方法较 LS 方法在模型泛化和分类错误率降低等方面表现更优，通过平滑处理来生成高不确定性标签的样本用于训练，实验结果证明了 PLS 方法的有效性。
label smoothinglsplsmodel generalizationclassification error reduction
发现论文，激发创造
  • 标签平滑是针对模型错配的鲁棒化方法

    本文研究了标签平滑 (label smoothing) 技术的两个修改：损失函数及概率估计，提出了一种改进版的 modified LSLR，并通过理论和实验分别证明了其具有更高的鲁棒性和更糟糕的概率估计性能。

    May, 2023

  • 理解标签平滑削弱选择性分类的原因及修复方法

    标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法，它通过均匀分布概率质量到其他类别来减少过拟合。然而，本研究揭示了标签平滑对选择性分类产生负面影响，并通过分析逻辑斜率梯度解释了这一现象。我们发现，采用逻辑斜率归一化的方法可以恢复由于标签平滑引起的选择性分类性能损失。

    Mar, 2024

  • 结构标签平滑正则化

    本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

    Jan, 2020

  • 基于混淆惩罚的标签平滑化方法用于组织病理学图像的正则化 CNN

    该论文介绍了一种基于混淆惩罚的新型标签平滑技术，相较于传统方法，针对每个类别的模型混淆给予更高的重视，通过对公开可用的结直肠组织学数据集进行广泛实验，并与最先进的方法进行对比，通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。

    Mar, 2024

  • 标签平滑还是不平滑？当标签平滑遇到嘈杂标签

    本文探讨标签平滑（LS）和负标签平滑（NLS）在高噪声率时，与不同硬件和软件交互的效果，结果表明 NLS 是更有利的正则化方法。

    Jun, 2021

  • LABO: 通过双层优化实现最优标签规则化学习

    提出了基于优化框架的标签正则化方法。相较于传统标签平滑方法，此方法可以对每个实例进行不同的建模，通过较少的计算量和无需存储参数以及模型输出等信息，取得了在各个任务上的一致性提升。

    May, 2023

  • 深入研究标签平滑

    本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

    Nov, 2020

  • 近似贝叶斯最优伪标签选择

    本文介绍了一个拟会泛化误差的具有 Bayesian 框架的 pseudo-label 选择方法 (BPLS)，其使用解析近似来选择标签实例，并通过针对高维数据的实证评估来表明其优于传统的 PLS 方法。

    Feb, 2023

  • 惩罚自信输出分布以正则化神经网络

    本文研究在神经网络中加入惩罚输出分布熵的正，则可以有效防止过拟合，并且可以通过最大熵的置信惩罚和标签平滑相连，取得了基于图像识别、语言建模、机器翻译和语音识别的 6 个数据集的最新成果。

    Jan, 2017

  • InPL: 针对不平衡半监督学习首先伪标记正常值

    提出了一种基于能量评分的伪标签方法（InPL）来应对非均衡半监督学习问题，该方法不依赖于模型置信度，而是根据样本在当前训练数据附近的相对位置进行评分，与目前的置信度评分方法相比，InPL 能够相对简单且显著地提高分类精度，并在 CIFAR10-LT 数据集上提高了 3％的绝对准确度和一个最具挑战性的场景下跑赢了最佳竞争对手。

    Mar, 2023