本文研究了标签平滑 (label smoothing) 技术的两个修改:损失函数及概率估计,提出了一种改进版的 modified LSLR,并通过理论和实验分别证明了其具有更高的鲁棒性和更糟糕的概率估计性能。
May, 2023
提出了基于优化框架的标签正则化方法。相较于传统标签平滑方法,此方法可以对每个实例进行不同的建模,通过较少的计算量和无需存储参数以及模型输出等信息,取得了在各个任务上的一致性提升。
本文研究标签平滑的结构化方法,通过对训练数据中真实标签进行软化处理,有助于避免过度自信的输出,提高神经网络泛化能力的同时,兼顾不同训练数据的特性,为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明,该方法在合成与各类真实数据集中均取得了较好的性能表现。
Jan, 2020
本文研究了如何生成更可靠的软标签,提出了一种基于 Online Label Smoothing (OLS) 策略的方法,通过构建更合理的概率分布来监督深度神经网络;实验证明,该方法可以有效地提高 CIFAR-100,ImageNet 和细粒度数据集的分类性能,并显著提高 DNN 模型与嘈杂标签的鲁棒性。
Nov, 2020
标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法,它通过均匀分布概率质量到其他类别来减少过拟合。然而,本研究揭示了标签平滑对选择性分类产生负面影响,并通过分析逻辑斜率梯度解释了这一现象。我们发现,采用逻辑斜率归一化的方法可以恢复由于标签平滑引起的选择性分类性能损失。
Mar, 2024
本文探讨标签平滑(LS)和负标签平滑(NLS)在高噪声率时,与不同硬件和软件交互的效果,结果表明 NLS 是更有利的正则化方法。
Jun, 2021
使用代理 Lagrange 松弛的系统性权重剪枝优化方法,可以通过少量的重新训练,实现比现有技术更快的收敛速度和更高的剪枝压缩率,同时维持高精度。
Apr, 2023
研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段,在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。
Jun, 2019
本文讨论了 Laplacian regularized stratified models (LRSM) 的图权重敏感性问题,并提出了一种通用的学习图权重和模型参数的解决方案。我们从图连通性和贝叶斯视角解释了所提出的公式,并提出了一种有效的算法来解决问题。我们还提供了所提出的优化算法的收敛保证,最后我们通过各种现实世界的数值例子证明了我们的方法相对于现有方法的效率。
该论文介绍了一种基于混淆惩罚的新型标签平滑技术,相较于传统方法,针对每个类别的模型混淆给予更高的重视,通过对公开可用的结直肠组织学数据集进行广泛实验,并与最先进的方法进行对比,通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。