针对物联网数据流的轻量级概念漂移检测和适应框架
本文介绍一种适应数据变化的 IoT 异常检测框架:PWPAE 框架,通过对 IoT 数据流的分析来解决传统数据分析模型中经常出现的概念漂移问题,并对两个公共数据集进行了实验以证明该提议的 PWPAE 方法的有效性。
Sep, 2021
本文研究了多种机器学习方法处理各种行业和应用中传感器漂移问题的能力,并在公开可获得的气体传感器数据集上测试了这些方法,结果表明这些方法在传感器漂移问题上存在明显的性能下降。
Sep, 2021
在线学习中,适应漂移数据流是一个重要挑战。本文提出了一种基于局部性和尺度的概念漂移分类方法,并构建了一套 2760 个基准问题,用于评估不同难度级别的漂移检测器。通过对 9 种前沿漂移检测器的综合评估,揭示了它们的优势和弱点,并为未来的研究提供了策略。研究结果还表明漂移的局部性如何影响分类器性能,并提出了不同漂移类别的恢复时间最小化策略。最后,总结了对未来概念漂移研究的经验教训和建议。
Nov, 2023
本研究的主要目标是了解数据流挑战(例如概念漂移)对自动化机器学习(AutoML)方法的性能产生的影响,并评估 6 种概念漂移适应策略在不同 AutoML 方法上的有效性。该研究在现实世界和合成数据流上进行了实证评估,提出方法来开发更复杂和更健壮的 AutoML 技术,包括贝叶斯优化、遗传编程和随机搜索自动堆叠等方法。
Jun, 2020
在线更新时间序列预测模型针对概念漂移通过基于流数据调整预测模型来解决挑战。我们提出了一种新颖的方法 D3A,首先检测概念漂移,然后在检测到漂移后积极调整当前模型以适应漂移的概念,从而快速适应。通过在现有的训练样例中引入高斯噪声的数据增强策略,我们提出了一种最大程度利用历史数据进行模型适应的方法。我们的实证研究跨越六个数据集,证明了 D3A 在提高模型适应能力方面的有效性。与简单的时间卷积网络(TCN)基准相比,D3A 将均方误差(MSE)平均降低了 43.9%。对于最先进的模型,MSE 降低了 33.3%。
Mar, 2024
这篇论文对文本流场景中的概念漂移适应进行了系统的文献综述,包括文本漂移类别、文本漂移检测类型、模型更新机制、流式挖掘任务、文本表示类型以及文本表示更新机制,并讨论了漂移可视化和模拟,列举了所选论文中使用的真实世界数据集。
Dec, 2023
本文提出了一种新颖的在线增强自适应学习 (OBAL) 方法,通过自适应学习不同流之间的动态相关性,有效地解决了多流分类中负面转移的问题。
Dec, 2023
在实时标签获取困难的场景中,本文提出了一种适用于有限标记数据的流式环境的最优策略,引入了一种自适应的无监督回归技术。该方法利用一组稀疏的初始标签,并引入创新的漂移检测机制,以响应数据中不断变化的模式实现动态模型调整。通过将 ADWIN 算法与基于 RMSE 的误差广义化相结合,我们提高了适应性。ADWIN 实现了实时漂移检测,而 RMSE 提供了对模型预测准确性的稳健度量。该组合使得我们的多变量方法能够有效地应对流式数据的挑战,在保持高水平的预测准确性的同时不断适应变化的模式。最后,我们对各种公共数据集评估了我们的多变量方法的性能,并将其与非适应性基线进行比较。通过综合评估,我们证明了我们的自适应回归技术在实时标签获取具有挑战性的任务中的出色效果。结果突显了该方法超越传统方法的能力,并凸显了在标签稀缺和数据模式不断变化的情境中的潜力。
Dec, 2023
实时分析和决策需要在线异常检测(OAD)有效地处理数据流中的漂移。本文介绍了一种名为 METER 的新型动态概念适应框架,该框架通过先在历史数据上训练基础检测模型以捕获重复的核心概念,然后在检测到概念漂移时学习动态适应数据流中的新概念,从而解决概念漂移问题。METER 采用了一种新颖的动态概念适应技术,利用超网络动态生成基础检测模型的参数变化,提供比传统重训练或微调方法更有效和高效的解决方案。此外,METER 还结合了一种基于证据深度学习的轻量级漂移检测控制器,支持稳健而可解释的概念漂移检测。我们进行了广泛的实验评估,结果表明,METER 在各种应用场景中明显优于现有的 OAD 方法。
Dec, 2023