通过抽象提高噪声鲁棒性对机器学习的影响
该研究探讨了标签噪声分类器的稳健性,旨在提高模型对复杂实际场景中的噪声数据的抵抗能力,并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。
Dec, 2023
研究数据为中心的机器学习,通过引入多种噪声,提出了一种高效的数据增强方案,以提高黑盒测试环境下模型的鲁棒性。该方法基于轻量级算法构建,经过全面的评估,证明了在计算成本和鲁棒性增强方面的有效性。作者还分享了他们从实验中获得的数据为中心的鲁棒机器学习的见解。
Mar, 2022
本文综述了深度学习中标签噪声的学习问题,提供了 62 种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
本章探索了机器学习(ML)中鲁棒性的基本概念及其在建立可信人工智能(AI)系统中的关键作用。讨论从详细定义鲁棒性开始,描绘了 ML 模型在各种意外环境条件下保持稳定性能的能力。通过不同视角剖析 ML 鲁棒性:与泛化能力的互补性,作为可信 AI 的要求,对抗性与非对抗性方面,定量评价指标,以及可重复性和可解释性等指标。本章深入探讨了影响鲁棒性的因素,如数据偏差、模型复杂性和不规范的 ML 流程的陷阱。从广泛的角度调查了鲁棒性评估的关键技术,包括对抗性攻击,包括数字和物理领域。它还涵盖了非对抗性数据转移和深度学习(DL)软件测试方法的细微差别。讨论进一步探索了增强鲁棒性的改进策略,从以数据为中心的方法如去偏和增强开始。进一步的研究包括各种以模型为中心的方法,如迁移学习、对抗训练和随机平滑等。最后,讨论了训练后方法,包括集成技术,修剪和模型修复,作为提高模型对不可预测因素的适应性的经济有效策略。本章强调现有方法对 ML 鲁棒性的估计和实现所面临的挑战和局限性,并为未来关于这一关键概念的研究提供了洞见和方向,作为可信 AI 系统的先决条件。
Apr, 2024
本文提出一种噪声容忍的训练算法,其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练,该元学习方法训练模型,以便在使用每个设置的合成噪声标签进行一次梯度更新后,模型不会过度拟合特定的噪声,从而提高深度神经网络的性能。
Dec, 2018
训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险,为了解决这个问题,研究人员探索了更加稳健的替代损失函数,然而,许多这些替代方法都是启发式的,仍然容易受到过拟合或欠拟合的影响。在本研究中,我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题,我们观察到标签噪声的存在意味着噪声泛化风险的下界,基于这一观察,我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果,给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明,在各种设置中使用这些界限极大地提高了鲁棒性,几乎没有额外的计算成本。
Jul, 2023
本文提出一种使用 “超集学习” 框架来处理标签噪声的方法,将目标信息进行模糊化,并添加额外的备选标签,以协同改善学习器的泛化性能。实验结果表明该方法在合成和真实数据上都能有效检测和纠正错误的训练标签。
May, 2023
本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法,并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件,同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的,并且标准反向传播足以学习出真正的分类器。
Dec, 2017