元学习中的软标签学习
提出了一种标签噪声鲁棒的学习算法,该算法使用具有元目标的软标签来训练基础分类器,软标签由数据实例的提取特征生成,并使用单层感知器网络进行学习,算法使用少量的无噪声数据作为元数据,实验结果表明,该算法优于现有基线。
Mar, 2021
本文提出了一种基于元学习方法的元 - 梯度下降模型,可自适应地根据当前的训练问题迭代地获取校正后的软标签,无需手动预设超参数,从而解决了深度神经网络容易过度拟合含有噪声标签的训练数据的问题。
Aug, 2020
本文提出一种噪声容忍的训练算法,其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练,该元学习方法训练模型,以便在使用每个设置的合成噪声标签进行一次梯度更新后,模型不会过度拟合特定的噪声,从而提高深度神经网络的性能。
Dec, 2018
通过使用少量标注者的软标签实现模型性能和可靠性的提高,该方法在减少标注者数量的同时得到了与之前方法相当的模型性能,但需要在 elicitation 过程中付出显著的时间成本。
Jul, 2022
本文提出了一种利用元学习方法和训练策略捕捉标签依赖关系的元学习方法,其训练策略用于交叉熵损失函数训练分类器,预测策略则用于预测。实验结果表明该方法可以更准确地进行多标签分类。
Sep, 2019
通过使用混合模型从局部损失分布学习样本权重,我们提出了一种利用合成样本训练模型的框架来减轻噪音标签影响,并通过逐渐修正噪音标签估计软目标,得到了更为准确的近似真实标签和更加独立和清晰界定的聚类,实验证明我们的方法在两个基准数据集 (CIFAR-10 和 CIFAR-100) 及两个大规模真实世界数据集 (Clothing1M 和 Webvision) 上优于现有技术方法且具备可靠的学习表达能力。
Jun, 2024
本文提出了一种利用联合优化框架来学习深度神经网络参数和估算真实标签的方法,以克服在噪声标签数据集上进行训练导致性能下降的问题,实验结果表明该方法在解决 CIFAR-10 噪声数据集和 Clothing1M 数据集分类问题上优于其他最先进的方法。
Mar, 2018
提出了一种基于早期学习的新型噪声分类技术框架,使用半监督学习的目标概率和正则化项,防止深层神经网络过于依赖错误标注而导致的过拟合现象。测试结果表明,该方法在多个标准基准数据集和实际数据集上均能达到与现有先进技术可比的鲁棒性。
Jun, 2020
本研究探讨基于软标签的输出规范化对于深度神经网络的泛化和模型压缩等方面的影响,特别是在机器学习安全中重要的 OOD 检测方面的影响,我们发现正确类别的软标签输出规范化对 OOD 检测的改善具有关键作用,并提出了一种合适的输出规范化方法,以构建 OOD-robust 深度神经网络,在不增加 OOD 样本训练或修改模型的情况下提高分类准确性。
Jul, 2020