MMApr, 2024

如何可持续监测机器学习系统？概念漂移检测中的准确性和能量效率平衡

PDF
TL;DR通过对七种常用的概念漂移检测方法进行实验研究，我们的结果表明，根据能源效率和准确性的权衡考虑，概念漂移检测器可以分为三种类型：a) 以检测准确性为代价的能源效率检测器（KSWIN），b) 在能源消耗较低时具有较好准确性的平衡检测器（HDDM_W、ADWIN），c) 能源消耗极少但实际上不可用因为准确性太差的检测器（HDDM_A、PageHinkley、DDM、EDDM）。通过为这种能源效率策略提供充分的证据，我们的发现为 ML 从业者选择最适合其 ML-enabled 系统的概念漂移检测方法提供支持。
concept driftml modelsenergy efficiencydrift detectionaccuracy tradeoff
发现论文，激发创造
  • 概念漂移检测器是可靠的警报系统吗？-- 一项比较研究

    该研究通过比较基于错误率和数据分布的概念漂移检测器的性能，并评估它们在识别漂移时的可靠性，为实践者提供了指导建议和警报系统的适用性分析。

    Nov, 2022

  • 从概念漂移到模型退化：性能感知漂移检测器综述

    本文介绍了预测机器学习模型在实际应用中由于系统动态性带来的性能退化问题，对概念漂移的类型做出了统一分类，并对最近十年中提出的基于性能的概念漂移检测方法进行了回顾和分类，还提出了跟踪和评估预测系统中模型性能的主要属性和策略，并探讨了开放性研究挑战和可能的研究方向。

    Mar, 2022

  • 批处理 Android 恶意软件检测模型的高效概念漂移处理

    通过重新训练技术和概念漂移检测的机制，可以有效地在不断变化的环境中维持静态安卓恶意软件检测器的性能。

    Sep, 2023

  • 基于流式无标签数据的概念漂移可靠检测

    该论文提出了一种基于特征分类器的不依赖于数据分布或特定应用的无监督增量漂移检测算法，以实现在数据流中可靠地检测和适应概念漂移，并展示了在 6 个漂移诱导数据集和 4 个来自网络安全领域的附加数据集上的实验评估结果，表明该算法与无监督特征漂移检测器相比具有更少的误警，可以信任且适用性广泛。

    Mar, 2017

  • 面向低端边缘设备的设备学习顺序概念漂移检测方法

    本文提出一种边缘 AI 系统中的概念漂移检测方法，通过序列计算实现神经网络的重新训练和检测概念漂移，降低计算和内存使用，实现在 Raspberry Pi Pico 等资源受限的设备上的应用。

    Dec, 2022

  • 数据流中概念漂移局部性的全面分析

    在线学习中，适应漂移数据流是一个重要挑战。本文提出了一种基于局部性和尺度的概念漂移分类方法，并构建了一套 2760 个基准问题，用于评估不同难度级别的漂移检测器。通过对 9 种前沿漂移检测器的综合评估，揭示了它们的优势和弱点，并为未来的研究提供了策略。研究结果还表明漂移的局部性如何影响分类器性能，并提出了不同漂移类别的恢复时间最小化策略。最后，总结了对未来概念漂移研究的经验教训和建议。

    Nov, 2023

  • 使用整体私有模型集的概念漂移检测

    深度神经网络（DNNs）是最广泛使用的机器学习算法之一。本文关注集成私有 DNNs 的概念来检测概念漂移，并引入一种名为 IPDD 的集成方法，不需要标签即可检测漂移。实验证明该方法在隐私性和效用上具有可比性。

    Jun, 2024

  • 恶意软件检测中针对概念和数据漂移的神经网络优化

    以机器学习模型为基础的恶意软件检测面临恶意软件不断进化导致的概念漂移问题，本研究提出一种模型无关的协议来改善基线神经网络处理漂移问题，并展示了特征约简和使用最新验证集进行训练的重要性，同时还提出了一种名为 DRBC（Drift-Resilient Binary Cross-Entropy）的损失函数，对抗漂移效果更佳。我们在 EMBER 数据集（2018 年）上进行模型训练，并在 2020 年至 2023 年收集的最新恶意文件数据集上进行评估。改进后的模型表现出有希望的结果，检测到比基线模型多 15.2% 的恶意软件。

    Aug, 2023

  • DetAIL：一款自动检测和分析语言漂移的工具

    本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

    Nov, 2022

  • 基于专家驱动的运营机器学习模型监控

    我们提出了专家监测的方法，利用领域专长来增强机器学习模型中概念漂移的检测和缓解。我们的方法通过整合与概念漂移事件相关的领域专长，使这些专长可以被现场人员使用，并在专家监督下实现自动适应性。

    Jan, 2024