概念漂移检测器是可靠的警报系统吗?-- 一项比较研究
本文介绍了预测机器学习模型在实际应用中由于系统动态性带来的性能退化问题,对概念漂移的类型做出了统一分类,并对最近十年中提出的基于性能的概念漂移检测方法进行了回顾和分类,还提出了跟踪和评估预测系统中模型性能的主要属性和策略,并探讨了开放性研究挑战和可能的研究方向。
Mar, 2022
通过对七种常用的概念漂移检测方法进行实验研究,我们的结果表明,根据能源效率和准确性的权衡考虑,概念漂移检测器可以分为三种类型:a) 以检测准确性为代价的能源效率检测器(KSWIN),b) 在能源消耗较低时具有较好准确性的平衡检测器(HDDM_W、ADWIN),c) 能源消耗极少但实际上不可用因为准确性太差的检测器(HDDM_A、PageHinkley、DDM、EDDM)。通过为这种能源效率策略提供充分的证据,我们的发现为 ML 从业者选择最适合其 ML-enabled 系统的概念漂移检测方法提供支持。
Apr, 2024
在线学习中,适应漂移数据流是一个重要挑战。本文提出了一种基于局部性和尺度的概念漂移分类方法,并构建了一套 2760 个基准问题,用于评估不同难度级别的漂移检测器。通过对 9 种前沿漂移检测器的综合评估,揭示了它们的优势和弱点,并为未来的研究提供了策略。研究结果还表明漂移的局部性如何影响分类器性能,并提出了不同漂移类别的恢复时间最小化策略。最后,总结了对未来概念漂移研究的经验教训和建议。
Nov, 2023
本文针对数据流中的概念漂移进行了相关研究,分析法检测,理解和适应等漂移技术的发展趋势,并建立了一个包含三个主要组件的漂移学习框架:概念漂移检测,概念漂移理解和概念漂移适应。同时,本文还列举和讨论了 10 个流行的合成数据集和 14 个公共基准数据集,以评估处理概念漂移的学习算法的性能,涵盖和讨论了概念漂移相关的研究方向。通过提供最新的知识,本综述将直接支持研究人员对概念漂移学习领域的研究发展的理解。
Apr, 2020
该论文提出了一种基于特征分类器的不依赖于数据分布或特定应用的无监督增量漂移检测算法,以实现在数据流中可靠地检测和适应概念漂移,并展示了在 6 个漂移诱导数据集和 4 个来自网络安全领域的附加数据集上的实验评估结果,表明该算法与无监督特征漂移检测器相比具有更少的误警,可以信任且适用性广泛。
Mar, 2017
本文提供了对无监督数据流中概念漂移的文献综述,主要关注概念漂移的检测和定位方法,并提供了对各种方法的系统性比较和在真实场景中的使用指南。另外,本文还探讨了解释概念漂移的新兴话题。
Oct, 2023
该研究提出了一个新的基准套件来评估 AI 系统中的概念漂移检测算法,其中考虑了计算性能和检测质量,并且集成在流式学习的框架中。该套件支持合成和真实数据流的评估,有助于科学界得到无监督漂移检测算法的基准表现。
Apr, 2023
DREAM 是一种新颖的系统,通过模型敏感性和数据自主性增强漂移检测,在半监督训练中主动捕捉恶意软件行为概念,并通过嵌入于检测器的潜在空间的恶意软件标签和概念解释扩大人工干预,以协调分类器和检测器的更新过程,从而能够有效提高漂移检测准确性并减少漂移适应的专家分析工作。
May, 2024