Mar, 2017

基于流式无标签数据的概念漂移可靠检测

PDF
TL;DR该论文提出了一种基于特征分类器的不依赖于数据分布或特定应用的无监督增量漂移检测算法，以实现在数据流中可靠地检测和适应概念漂移，并展示了在 6 个漂移诱导数据集和 4 个来自网络安全领域的附加数据集上的实验评估结果，表明该算法与无监督特征漂移检测器相比具有更少的误警，可以信任且适用性广泛。
concept driftunsupervised change detection techniquesmargin density drift detection algorithmcybersecurity domainclassification performance
发现论文，激发创造
  • 揭示文本数据中的漂移：一种检测和缓解机器学习模型漂移的无监督方法

    机器学习中的漂移是指模型所操作的数据或上下文的统计特性随时间改变而导致其性能下降的现象。为了及时预防潜在的性能退化，保持对机器学习模型性能的持续监控过程至关重要。在我们提出的无监督漂移检测方法中，我们采用了两步过程。第一步涉及将生产数据的样本编码为目标分布，将模型训练数据作为参考分布。在第二步中，我们采用了基于核的统计检验，利用最大均值离差（MMD）距离度量来比较参考和目标分布，并估计任何潜在的漂移。我们的方法还能够识别导致漂移的生产数据子集。使用这些被确定为高漂移样本进行重新训练的模型在在线客户体验质量指标上表现出了改进。

    Sep, 2023

  • 深度学习表示中的无监督概念漂移实时检测

    提出了 DriftLens，一种基于深度学习表示的无监督实时概念漂移检测框架，能够比以前的方法更好地检测漂移，在至少 11 个测试用例中运行速度至少快 5 倍，并且其检测到的漂移值与实际漂移量非常相关（相关性≥0.85），对参数变化具有鲁棒性。

    Jun, 2024

  • 一种基于邻居搜索的差异性漂移检测方案，用于学习进化数据

    基于 Neighbor-Searching Discrepancy 的新统计量，提出了一种能够高准确率检测真实概念漂移并忽略虚假漂移的方法，同时还能指示分类边界变化的方法。实验结果表明，该方法在不同分布和维度下具有鲁棒性，并且在漂移检测方面优于现有方法。

    May, 2024

  • 概念漂移检测器是可靠的警报系统吗？-- 一项比较研究

    该研究通过比较基于错误率和数据分布的概念漂移检测器的性能，并评估它们在识别漂移时的可靠性，为实践者提供了指导建议和警报系统的适用性分析。

    Nov, 2022

  • 从概念漂移到模型退化：性能感知漂移检测器综述

    本文介绍了预测机器学习模型在实际应用中由于系统动态性带来的性能退化问题，对概念漂移的类型做出了统一分类，并对最近十年中提出的基于性能的概念漂移检测方法进行了回顾和分类，还提出了跟踪和评估预测系统中模型性能的主要属性和策略，并探讨了开放性研究挑战和可能的研究方向。

    Mar, 2022

  • 演化数据流的 McDiarmid 漂移检测方法

    提出了使用 McDiarmid 不等式检测概念漂移的新方法，在处理医疗应用和紧急响应等需要实时检测变化的情境中验证其优越性。

    Oct, 2017

  • 关于概念漂移的已知事项 -- 监测演化环境的调查

    本文提供了对无监督数据流中概念漂移的文献综述，主要关注概念漂移的检测和定位方法，并提供了对各种方法的系统性比较和在真实场景中的使用指南。另外，本文还探讨了解释概念漂移的新兴话题。

    Oct, 2023

  • 流式短文本可靠可解释的漂移检测

    本研究提出了一种可靠的端到端框架，用于大型任务导向对话系统中模型无关变点检测和解释，并通过模拟对话系统中的客户请求，评估了该方法并展示了其效果。

    May, 2023

  • 使用 Kullback-Leibler 散度跟踪变化的连续学习

    介绍了一种利用 Kullback-Leibler 散度来监控多维数据流概率分布变化，以预测概念漂移事件并了解其本质的新方法，并探讨了其在预测维护等实际任务中的应用。

    Oct, 2022

  • 概念漂移下的学习：一份综述

    本文针对数据流中的概念漂移进行了相关研究，分析法检测，理解和适应等漂移技术的发展趋势，并建立了一个包含三个主要组件的漂移学习框架：概念漂移检测，概念漂移理解和概念漂移适应。同时，本文还列举和讨论了 10 个流行的合成数据集和 14 个公共基准数据集，以评估处理概念漂移的学习算法的性能，涵盖和讨论了概念漂移相关的研究方向。通过提供最新的知识，本综述将直接支持研究人员对概念漂移学习领域的研究发展的理解。

    Apr, 2020