- 使用软标签的合成样本减轻噪声监督
通过使用混合模型从局部损失分布学习样本权重,我们提出了一种利用合成样本训练模型的框架来减轻噪音标签影响,并通过逐渐修正噪音标签估计软目标,得到了更为准确的近似真实标签和更加独立和清晰界定的聚类,实验证明我们的方法在两个基准数据集 (CIFA - 用预测的难样本标签重新训练可证明提高模型准确性
通过理论分析,在给定随机受损标签的线性可分情境中,重新训练可以提高模型的整体准确率,并且通过基于共识的重新训练方法在没有额外的隐私成本的情况下显著提高标签差分隐私训练的准确率。
- 重新思考图分类中噪声标签的影响:从实用性和隐私角度的观察
基于消息传递机制的图神经网络在图分类任务中取得了先进的结果,然而,在训练数据中存在噪声标签时,它们的泛化性能会下降。本文从数据隐私和模型效用的角度来衡量噪声标签对图分类的影响,发现噪声标签会降低模型的泛化性能,并增强对图数据隐私的成员推理攻 - 随机重启以克服标签噪声导致的神经网络过拟合
重启训练在含有噪声标签的深度神经网络中显著提高泛化性能,通过近似随机梯度下降动力学为朗之万动力学,我们理论上证明了重启可以在批量大小和损坏数据比例增加时提供巨大改进。同时,我们实验证实了我们的理论,证明了通过重启可以显著改善性能,并且我们的 - 能将嘈杂标记视为准确吗?
通过 EchoAlign,将嘈杂的标签视为准确的,并修改相应的实例特征来更好地与嘈杂的标签保持一致,同时保留干净的原始实例以减轻训练和测试集之间的分布差异。
- 深度学习中学习重新加权示例的重新实现
通过元训练和在线权重逼近方法,本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题,并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。
- 一种对标签噪声具有鲁棒性的一致性预测得分
通过在设定的概率内构建小的预测集合,拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题,引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分,并在测试阶段使用该得分形成预测集合。 - ICLRCromSS:面向遥感图像分割的带有噪声标签的跨模态预训练
我们研究了在多模态学习框架中,利用噪声标签 y 对语义分割模型进行预训练的潜力,针对地理空间应用。具体而言,我们提出了一种新颖的交叉模态样本选择方法(CromSS),利用给定地理空间场景的多个传感器 / 模态 d 模拟的像素 x 和类别 c - 基于势能的噪声标记学习混合模型
基于潜在能量的混合模型(PEMM)用于噪声标签学习,通过将深度学习骨干与我们提出的分类器相结合,可以得到具有更好特征表示和优越噪声容忍性的鲁棒网络。
- ICLR探索带有嘈杂标签的上下文学习的稳健性
Transformer 模型在 In-Context Learning 方面表现出对标签噪声的鲁棒性,噪声的引入可以提高其鲁棒性,为自然语言处理中的 Transformer 研究提供了重要的见解。
- IJCAI带有标签噪音的可信多视图学习
通过引入噪音标签,我们提出了一种可靠的多视图学习方法,该方法能够学习每个实例的类分布,估计分类概率和不确定性,并且在准确性、可靠性和鲁棒性方面优于基线方法。
- 使用模糊任务边界和有噪标签的数据流抽样
在连续学习的领域中,数据流中存在的噪声标签是模型可靠性和公平性的显著障碍。我们提出了一种名为噪声测试去偏置(NTD)的新颖直观的采样方法,以减轻演变数据流中的噪声标签,并建立公平且稳健的连续学习算法。与之前的方法相比,NTD 在维持或超过准 - 分类中的噪音标签处理:一项调查
对于计算机视觉任务尤其是图像分类任务,本综述全面回顾了应对噪声标签的不同深度学习方法的演变,研究了不同的噪声模式,并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式,以形成一个新的以真实世界数据为指导的合成基准,并在该基准上评估了一 - 利用网络参数叠加分解解决噪声标签问题
通过参数的加性分解和早停策略,本研究在深度网络中利用记忆效应来对抗有噪声的标签数据,并成功地区分了对干净数据和错标数据的记忆,从而减少错标数据的干扰并提高了推广性能。
- 无噪声标签的交叉模态检索的统一最优传输框架
基于最优传输的鲁棒跨模态检索框架(UOT-RCL)通过语义对齐和关系对齐两个组件,有效处理嘈杂标签并提高对噪声的鲁棒性,在三个广泛使用的跨模态检索数据集上超过了当前最先进方法。
- 图形部分标签学习与潜在原因发现
我们提出了一种新颖的图表示学习方法,使得图神经网络模型能够在部分标记学习的背景下有效地学习有区别的信息,通过融入辅助训练和潜在因果提取,我们的方法可以过滤掉标签中的噪声,理论分析和实验证明了我们方法的优越性。
- 解决长尾噪声标签学习问题:基于标签珍稀性考虑的两阶段解决方案
通过结合软标签修复与多专家集成学习的有效的两阶段方法,我们介绍了一种克服先前方法限制的方法,用于处理真实世界数据集中存在的噪声标签和类别不平衡问题,实验证实了我们的方法的优越性。
- 通过拓扑样本选择缓解图上的标签噪声
我们提出了一种基于拓扑信息的拓扑样本选择方法(TSS),通过利用拓扑信息来提高图中信息样本的选择过程,从而解决在非独立同分布图数据和 GNN 中的样本选择中存在的问题。通过理论证明,我们的方法在清洁目标分布下最小化了预期风险的上界,并在实验 - ICLR标签噪声鲁棒扩散模型
使用 Transition-aware weighted Denoising Score Matching(TDSM)训练带有噪声标签的条件扩散模型,其中 TDSM 目标函数包含得分网络的加权和,并整合了实例级和时间相关的标签转移概率。通过 - 随机条件扩散模型用于语义图像合成
提出了一种鲁棒的条件扩散模型,用于语义图像合成,通过标签扩散处理噪声标签,同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性,并模拟了现实应用中的人类错误情况。