提出了一种类别自适应标签平滑方法(CALS),在训练过程中允许学习班级特定的乘数,通过在大规模的自适应训练中引入几种修改以量身定制它,以校准深度神经网络,综合评估和多重比较展示了所提出方法的优越性
Nov, 2022
本文研究了分类网络在面对数据异常和对抗攻击时准确性和可校准概率分布的平衡,在探讨标签平滑正则化和标准化方法对数据泛化性和校准概率分布的影响时提出了正则化软标签的方法,将传统卷积转化为基于填充的局部卷积,以加强性能和收敛速率。
Dec, 2020
本文提出了一种基于上下文的选择性标签平滑方法(CASLS),以解决训练过程中的过度拟合问题以及置信度校准问题,通过利用顺序数据中的上下文依赖性来构造混淆矩阵,并使用类特定错误率来调整平滑强度的权重,从而实现自适应校准。在场景文本识别和语音识别等序列识别任务上的实验结果表明,本文所提出的方法可以实现最先进的性能。
Mar, 2023
本文研究标签平滑的结构化方法,通过对训练数据中真实标签进行软化处理,有助于避免过度自信的输出,提高神经网络泛化能力的同时,兼顾不同训练数据的特性,为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明,该方法在合成与各类真实数据集中均取得了较好的性能表现。
Jan, 2020
提出一种基于模型概率分布的标签平滑正则化方法,使每个样本的平滑程度都不同,从而在训练期间动态自我调整平滑程度,有效提高模型的泛化和校准性能。
Oct, 2022
通过等式约束方式,NACL(Neighbor Aware CaLibration)能够在深度分割网络中实现优越的校准性能,而不影响其判别能力。
Jan, 2024
本文研究了深度神经网络在预测时存在过度自信的问题,并提出了一种基于不等式约束的优化方法,以达到最佳判别性能和预测校准性能的折中。
Nov, 2021
该论文介绍了一种基于混淆惩罚的新型标签平滑技术,相较于传统方法,针对每个类别的模型混淆给予更高的重视,通过对公开可用的结直肠组织学数据集进行广泛实验,并与最先进的方法进行对比,通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。
Mar, 2024
提出了两种新的基于实例的标签平滑方法,其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性,分配平滑因子。在各种深度神经体系结构和图像分类数据集上,我们的方法显示出比标准标签平滑更好的泛化和校准性。
Oct, 2021
本文研究了如何生成更可靠的软标签,提出了一种基于 Online Label Smoothing (OLS) 策略的方法,通过构建更合理的概率分布来监督深度神经网络;实验证明,该方法可以有效地提高 CIFAR-100,ImageNet 和细粒度数据集的分类性能,并显著提高 DNN 模型与嘈杂标签的鲁棒性。
Nov, 2020