MILD: 建模实例学习动态以应对带噪声标签的学习
利用深度神经网络记忆清晰样本更早的现象,发展一种统计学方法,根据集成学习动态数据中干净和嘈杂数据的差异,改善了噪声标记估计,噪声过滤和指导分类的方法。
Oct, 2022
本研究提出了一种基于类别惩罚标签的强有力标准,通过平均预测置信度我们得到了适当的惩罚标签,在各个观察到的标签中达到高值,以强化对数量噪声标记的惩罚。在各种场景中,使用这些标准进行样本选择,相比现有方法,网络的学习过程对噪声标签变得更加稳健。
Jul, 2021
提出了一种基于早期学习的新型噪声分类技术框架,使用半监督学习的目标概率和正则化项,防止深层神经网络过于依赖错误标注而导致的过拟合现象。测试结果表明,该方法在多个标准基准数据集和实际数据集上均能达到与现有先进技术可比的鲁棒性。
Jun, 2020
本文提出一种噪声容忍的训练算法,其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练,该元学习方法训练模型,以便在使用每个设置的合成噪声标签进行一次梯度更新后,模型不会过度拟合特定的噪声,从而提高深度神经网络的性能。
Dec, 2018
提出一种能够有效提高 SOTA noisy-label learning 方法性能的新噪声标签学习图模型,该模型能够准确估计噪声率并用于训练过程的样本选择阶段。
May, 2023
本研究提出了一种应对嘈杂标签的无监督半监督深度神经网络学习框架,通过在噪声图像标注中识别出标签准确度较高的部分数据,并利用半监督学习方式训练深度神经网络以更好地利用整个数据集。
Feb, 2018
本文利用机器学习自动化的方法,设计出一个基于记忆效应的特定领域的搜索空间,并且提出了一种新的牛顿算法,能够有效地解决二级优化问题,在多个数据集上进行的实验结果表明,该算法比现有嘈杂标签学习方法更好,并且比现有自动 ML 算法更加高效。
Nov, 2019
本研究提出了一种使用噪音检测器(由 LSTM 网络实现)基于原始训练动态来判断样本是否存在错误标签,并通过标注纠错提高深度模型的性能的新型学习解决方案,实验证明此方法在各种数据集上均能精确检测出错标样本,优于现有的技术。
Dec, 2022
通过使用混合模型从局部损失分布学习样本权重,我们提出了一种利用合成样本训练模型的框架来减轻噪音标签影响,并通过逐渐修正噪音标签估计软目标,得到了更为准确的近似真实标签和更加独立和清晰界定的聚类,实验证明我们的方法在两个基准数据集 (CIFAR-10 和 CIFAR-100) 及两个大规模真实世界数据集 (Clothing1M 和 Webvision) 上优于现有技术方法且具备可靠的学习表达能力。
Jun, 2024
研究发现,神经网络在存在噪声或不正确标签的情况下,往往会记住有关噪声的信息。为了减少这种记忆现象,提高泛化能力,本文提出使用一个辅助网络来训练,并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。
Feb, 2020