Sep, 2023

揭示文本数据中的漂移：一种检测和缓解机器学习模型漂移的无监督方法

PDF
TL;DR机器学习中的漂移是指模型所操作的数据或上下文的统计特性随时间改变而导致其性能下降的现象。为了及时预防潜在的性能退化，保持对机器学习模型性能的持续监控过程至关重要。在我们提出的无监督漂移检测方法中，我们采用了两步过程。第一步涉及将生产数据的样本编码为目标分布，将模型训练数据作为参考分布。在第二步中，我们采用了基于核的统计检验，利用最大均值离差（MMD）距离度量来比较参考和目标分布，并估计任何潜在的漂移。我们的方法还能够识别导致漂移的生产数据子集。使用这些被确定为高漂移样本进行重新训练的模型在在线客户体验质量指标上表现出了改进。
driftmachine learningmonitoringunsupervised drift detectionmaximum mean discrepancy
发现论文，激发创造
  • 基于流式无标签数据的概念漂移可靠检测

    该论文提出了一种基于特征分类器的不依赖于数据分布或特定应用的无监督增量漂移检测算法，以实现在数据流中可靠地检测和适应概念漂移，并展示了在 6 个漂移诱导数据集和 4 个来自网络安全领域的附加数据集上的实验评估结果，表明该算法与无监督特征漂移检测器相比具有更少的误警，可以信任且适用性广泛。

    Mar, 2017

  • 生成文本流中的漂移方法

    本文提供了四种文本漂移生成方法，以便生成带有标记漂移的数据集，并使用增量分类器测试它们恢复漂移的能力。结果表明，所有方法在漂移后性能都有所下降，增量支持向量机在准确性和宏 F1 得分方面运行速度最快，恢复了之前的性能水平。

    Mar, 2024

  • 流式短文本可靠可解释的漂移检测

    本研究提出了一种可靠的端到端框架，用于大型任务导向对话系统中模型无关变点检测和解释，并通过模拟对话系统中的客户请求，评估了该方法并展示了其效果。

    May, 2023

  • DetAIL：一款自动检测和分析语言漂移的工具

    本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

    Nov, 2022

  • 深度学习表示中的无监督概念漂移实时检测

    提出了 DriftLens，一种基于深度学习表示的无监督实时概念漂移检测框架，能够比以前的方法更好地检测漂移，在至少 11 个测试用例中运行速度至少快 5 倍，并且其检测到的漂移值与实际漂移量非常相关（相关性≥0.85），对参数变化具有鲁棒性。

    Jun, 2024

  • 使用文档嵌入和降维技术检测文本数据中的协变量漂移

    探讨使用不同文档嵌入、降维技术和漂移检测方法来识别文本数据中的协变漂移的有效性，结果表明某些组合的嵌入、降维技术和漂移检测方法在检测协变漂移方面表现优异。

    Sep, 2023

  • 计算性能感知的无监督概念漂移检测基准测试

    该研究提出了一个新的基准套件来评估 AI 系统中的概念漂移检测算法，其中考虑了计算性能和检测质量，并且集成在流式学习的框架中。该套件支持合成和真实数据流的评估，有助于科学界得到无监督漂移检测算法的基准表现。

    Apr, 2023

  • 关于概念漂移的已知事项 -- 监测演化环境的调查

    本文提供了对无监督数据流中概念漂移的文献综述，主要关注概念漂移的检测和定位方法，并提供了对各种方法的系统性比较和在真实场景中的使用指南。另外，本文还探讨了解释概念漂移的新兴话题。

    Oct, 2023

  • 图像机器学习数据漂移控制的数据模型

    本研究结合传统机器学习和光学物理学，构建显式且可微分的数据模型，用于控制下游机器学习模型性能与数据漂移相关性，进而进行数据环境的精密规定和优化。

    Nov, 2022

  • 概念漂移下的学习：一份综述

    本文针对数据流中的概念漂移进行了相关研究，分析法检测，理解和适应等漂移技术的发展趋势，并建立了一个包含三个主要组件的漂移学习框架：概念漂移检测，概念漂移理解和概念漂移适应。同时，本文还列举和讨论了 10 个流行的合成数据集和 14 个公共基准数据集，以评估处理概念漂移的学习算法的性能，涵盖和讨论了概念漂移相关的研究方向。通过提供最新的知识，本综述将直接支持研究人员对概念漂移学习领域的研究发展的理解。

    Apr, 2020