开源漂移检测工具的实践应用：两个使用案例的洞见

Apr, 2024

开源漂移检测工具的实践应用：两个使用案例的洞见

Open-Source Drift Detection Tools in Action: Insights from Two Use Cases

Rieke Müller, Mohamed Abdelaal, Davor Stjelja

TL;DR数据漂移对机器学习模型的生命周期造成重大挑战。本研究通过微基准研究 D3Bench 评估了开源漂移检测工具的效能，评估了 Evidently AI、NannyML 和 Alibi-Detect 在两个智能建筑使用案例中的能力。我们重点评估这些工具在识别和分析数据漂移方面的功能适应性，并考虑了一系列非功能性标准，如与机器学习流水线的集成性、对不同数据类型的适应性、用户友好性、计算效率和资源需求。研究结果表明，Evidently AI 在一般数据漂移检测方面表现出色，而 NannyML 在准确定位漂移发生的时间和评估其对预测准确性的影响方面表现出色。

Abstract

data drifts pose a critical challenge in the lifecycle of machine learning (ML) models, affecting their performance and reliability. In response to this challenge, we present a microbenchmark study, called D3Bench, which evaluates the efficacy of open-source →

data drifts machine learning models drift detection tools functional suitability non-functional criteria

发现论文，激发创造

DetAIL：一款自动检测和分析语言漂移的工具

本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

Nov, 2022

概念漂移检测器是可靠的警报系统吗？-- 一项比较研究

该研究通过比较基于错误率和数据分布的概念漂移检测器的性能，并评估它们在识别漂移时的可靠性，为实践者提供了指导建议和警报系统的适用性分析。

Nov, 2022

流式短文本可靠可解释的漂移检测

本研究提出了一种可靠的端到端框架，用于大型任务导向对话系统中模型无关变点检测和解释，并通过模拟对话系统中的客户请求，评估了该方法并展示了其效果。

May, 2023

如何可持续监测机器学习系统？概念漂移检测中的准确性和能量效率平衡

通过对七种常用的概念漂移检测方法进行实验研究，我们的结果表明，根据能源效率和准确性的权衡考虑，概念漂移检测器可以分为三种类型：a) 以检测准确性为代价的能源效率检测器（KSWIN），b) 在能源消耗较低时具有较好准确性的平衡检测器（HDDM_W、ADWIN），c) 能源消耗极少但实际上不可用因为准确性太差的检测器（HDDM_A、PageHinkley、DDM、EDDM）。通过为这种能源效率策略提供充分的证据，我们的发现为 ML 从业者选择最适合其 ML-enabled 系统的概念漂移检测方法提供支持。

Apr, 2024

使用整体私有模型集的概念漂移检测

深度神经网络（DNNs）是最广泛使用的机器学习算法之一。本文关注集成私有 DNNs 的概念来检测概念漂移，并引入一种名为 IPDD 的集成方法，不需要标签即可检测漂移。实验证明该方法在隐私性和效用上具有可比性。

Jun, 2024

揭示文本数据中的漂移：一种检测和缓解机器学习模型漂移的无监督方法

机器学习中的漂移是指模型所操作的数据或上下文的统计特性随时间改变而导致其性能下降的现象。为了及时预防潜在的性能退化，保持对机器学习模型性能的持续监控过程至关重要。在我们提出的无监督漂移检测方法中，我们采用了两步过程。第一步涉及将生产数据的样本编码为目标分布，将模型训练数据作为参考分布。在第二步中，我们采用了基于核的统计检验，利用最大均值离差（MMD）距离度量来比较参考和目标分布，并估计任何潜在的漂移。我们的方法还能够识别导致漂移的生产数据子集。使用这些被确定为高漂移样本进行重新训练的模型在在线客户体验质量指标上表现出了改进。

Sep, 2023

基于流式无标签数据的概念漂移可靠检测

该论文提出了一种基于特征分类器的不依赖于数据分布或特定应用的无监督增量漂移检测算法，以实现在数据流中可靠地检测和适应概念漂移，并展示了在 6 个漂移诱导数据集和 4 个来自网络安全领域的附加数据集上的实验评估结果，表明该算法与无监督特征漂移检测器相比具有更少的误警，可以信任且适用性广泛。

Mar, 2017

评估机器学习方法以解决物联网传感器漂移问题

本文研究了多种机器学习方法处理各种行业和应用中传感器漂移问题的能力，并在公开可获得的气体传感器数据集上测试了这些方法，结果表明这些方法在传感器漂移问题上存在明显的性能下降。

Sep, 2021

计算性能感知的无监督概念漂移检测基准测试

该研究提出了一个新的基准套件来评估 AI 系统中的概念漂移检测算法，其中考虑了计算性能和检测质量，并且集成在流式学习的框架中。该套件支持合成和真实数据流的评估，有助于科学界得到无监督漂移检测算法的基准表现。

Apr, 2023

图像机器学习数据漂移控制的数据模型

本研究结合传统机器学习和光学物理学，构建显式且可微分的数据模型，用于控制下游机器学习模型性能与数据漂移相关性，进而进行数据环境的精密规定和优化。

Nov, 2022