Nov, 2020

深入研究标签平滑

PDF
TL;DR本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。
发现论文，激发创造
  • 结构标签平滑正则化

    本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

    Jan, 2020

  • 通过标签平滑实现对抗鲁棒性

    研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。

    Jun, 2019

  • 标签平滑在什么时候有帮助？

    通过使用软分布，可以提高多类神经网络的泛化性能和学习速度。基于标签平滑的网络不会变得过于自信，而且可以显著提高模型的校准性。但是，如果使用了平滑标签，知识蒸馏的效果就会减弱。标签平滑可通过训练样本的表示，将同一类别的相同样本聚为紧密的簇，这样就导致了这些实例之间的信息损失。

    Jun, 2019

  • 基于实例的标签平滑技术用于更好的校准分类网络

    提出了两种新的基于实例的标签平滑方法，其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性，分配平滑因子。在各种深度神经体系结构和图像分类数据集上，我们的方法显示出比标准标签平滑更好的泛化和校准性。

    Oct, 2021

  • LABO: 通过双层优化实现最优标签规则化学习

    提出了基于优化框架的标签正则化方法。相较于传统标签平滑方法，此方法可以对每个实例进行不同的建模，通过较少的计算量和无需存储参数以及模型输出等信息，取得了在各个任务上的一致性提升。

    May, 2023

  • 自知自明的自适应标签平滑在自然语言生成中的应用

    提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。

    Oct, 2022

  • 标签平滑是否缓解标签噪声？

    本文通过研究标签平滑是否能够缓解标签噪声的影响，发现标签平滑可以与标签噪声文献中的一类损失校正技术相竞争，同时发现在从嘈杂数据中提取模型时，对老师标签进行标签平滑可以提高模型性能，这对于噪声无关问题的最近发现提供了进一步的启示，说明标签平滑在某些情况下是有益的。

    Mar, 2020

  • 深度神经网络的软标记影响其对越界检测的能力

    本研究探讨基于软标签的输出规范化对于深度神经网络的泛化和模型压缩等方面的影响，特别是在机器学习安全中重要的 OOD 检测方面的影响，我们发现正确类别的软标签输出规范化对 OOD 检测的改善具有关键作用，并提出了一种合适的输出规范化方法，以构建 OOD-robust 深度神经网络，在不增加 OOD 样本训练或修改模型的情况下提高分类准确性。

    Jul, 2020

  • 理解标签平滑削弱选择性分类的原因及修复方法

    标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法，它通过均匀分布概率质量到其他类别来减少过拟合。然而，本研究揭示了标签平滑对选择性分类产生负面影响，并通过分析逻辑斜率梯度解释了这一现象。我们发现，采用逻辑斜率归一化的方法可以恢复由于标签平滑引起的选择性分类性能损失。

    Mar, 2024

  • 基于混淆惩罚的标签平滑化方法用于组织病理学图像的正则化 CNN

    该论文介绍了一种基于混淆惩罚的新型标签平滑技术，相较于传统方法，针对每个类别的模型混淆给予更高的重视，通过对公开可用的结直肠组织学数据集进行广泛实验，并与最先进的方法进行对比，通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。

    Mar, 2024