在线漂移检测与最大概念差异
该论文提出了一种基于特征分类器的不依赖于数据分布或特定应用的无监督增量漂移检测算法,以实现在数据流中可靠地检测和适应概念漂移,并展示了在6个漂移诱导数据集和4个来自网络安全领域的附加数据集上的实验评估结果,表明该算法与无监督特征漂移检测器相比具有更少的误警,可以信任且适用性广泛。
Mar, 2017
本文提出了一种基于分层假设检验框架的请求-验证策略来检测概念漂移的方法,其中包括两种方法:HHT-CU和HHT-AG,这些方法在基准数据集上表现出明显的优势,并仅使用较少的标签就能超越现有的无监督漂移检测器和监督漂移检测器。
Jun, 2018
研究了在流数据场景下,概念漂移对先前学习的模型造成的影响和需要重新训练的需求,提出了一种基于漂移检测和更广泛的稳态/响应态过程的自适应学习算法,并在实验中验证了该算法优于先前基于漂移检测的方法,并可以应用于多种监督学习问题。
Mar, 2020
本文针对数据流中的概念漂移进行了相关研究,分析法检测,理解和适应等漂移技术的发展趋势,并建立了一个包含三个主要组件的漂移学习框架:概念漂移检测,概念漂移理解和概念漂移适应。同时,本文还列举和讨论了10个流行的合成数据集和14个公共基准数据集,以评估处理概念漂移的学习算法的性能,涵盖和讨论了概念漂移相关的研究方向。通过提供最新的知识,本综述将直接支持研究人员对概念漂移学习领域的研究发展的理解。
Apr, 2020
机器学习中的漂移是指模型所操作的数据或上下文的统计特性随时间改变而导致其性能下降的现象。为了及时预防潜在的性能退化,保持对机器学习模型性能的持续监控过程至关重要。在我们提出的无监督漂移检测方法中,我们采用了两步过程。第一步涉及将生产数据的样本编码为目标分布,将模型训练数据作为参考分布。在第二步中,我们采用了基于核的统计检验,利用最大均值离差(MMD)距离度量来比较参考和目标分布,并估计任何潜在的漂移。我们的方法还能够识别导致漂移的生产数据子集。使用这些被确定为高漂移样本进行重新训练的模型在在线客户体验质量指标上表现出了改进。
Sep, 2023
在线学习中,适应漂移数据流是一个重要挑战。本文提出了一种基于局部性和尺度的概念漂移分类方法,并构建了一套2760个基准问题,用于评估不同难度级别的漂移检测器。通过对9种前沿漂移检测器的综合评估,揭示了它们的优势和弱点,并为未来的研究提供了策略。研究结果还表明漂移的局部性如何影响分类器性能,并提出了不同漂移类别的恢复时间最小化策略。最后,总结了对未来概念漂移研究的经验教训和建议。
Nov, 2023
基于Neighbor-Searching Discrepancy的新统计量,提出了一种能够高准确率检测真实概念漂移并忽略虚假漂移的方法,同时还能指示分类边界变化的方法。实验结果表明,该方法在不同分布和维度下具有鲁棒性,并且在漂移检测方面优于现有方法。
May, 2024