Mar, 2024

生成文本流中的漂移方法

PDF
TL;DR本文提供了四种文本漂移生成方法，以便生成带有标记漂移的数据集，并使用增量分类器测试它们恢复漂移的能力。结果表明，所有方法在漂移后性能都有所下降，增量支持向量机在准确性和宏 F1 得分方面运行速度最快，恢复了之前的性能水平。
textual dataconcept driftbenchmark datasetsdrift generation methodsincremental classifiers
发现论文，激发创造
  • 文本流挖掘中的概念漂移适应性：综述

    这篇论文对文本流场景中的概念漂移适应进行了系统的文献综述，包括文本漂移类别、文本漂移检测类型、模型更新机制、流式挖掘任务、文本表示类型以及文本表示更新机制，并讨论了漂移可视化和模拟，列举了所选论文中使用的真实世界数据集。

    Dec, 2023

  • 流式短文本可靠可解释的漂移检测

    本研究提出了一种可靠的端到端框架，用于大型任务导向对话系统中模型无关变点检测和解释，并通过模拟对话系统中的客户请求，评估了该方法并展示了其效果。

    May, 2023

  • 概念漂移下的学习：一份综述

    本文针对数据流中的概念漂移进行了相关研究，分析法检测，理解和适应等漂移技术的发展趋势，并建立了一个包含三个主要组件的漂移学习框架：概念漂移检测，概念漂移理解和概念漂移适应。同时，本文还列举和讨论了 10 个流行的合成数据集和 14 个公共基准数据集，以评估处理概念漂移的学习算法的性能，涵盖和讨论了概念漂移相关的研究方向。通过提供最新的知识，本综述将直接支持研究人员对概念漂移学习领域的研究发展的理解。

    Apr, 2020

  • 揭示文本数据中的漂移：一种检测和缓解机器学习模型漂移的无监督方法

    机器学习中的漂移是指模型所操作的数据或上下文的统计特性随时间改变而导致其性能下降的现象。为了及时预防潜在的性能退化，保持对机器学习模型性能的持续监控过程至关重要。在我们提出的无监督漂移检测方法中，我们采用了两步过程。第一步涉及将生产数据的样本编码为目标分布，将模型训练数据作为参考分布。在第二步中，我们采用了基于核的统计检验，利用最大均值离差（MMD）距离度量来比较参考和目标分布，并估计任何潜在的漂移。我们的方法还能够识别导致漂移的生产数据子集。使用这些被确定为高漂移样本进行重新训练的模型在在线客户体验质量指标上表现出了改进。

    Sep, 2023

  • 关于相关数据概念漂移的一点注记

    概念漂移对机器学习模型产生不准确的影响，并且在流式数据背景下，多数研究假设连续的数据点之间是独立的。本研究发现时序依赖性对采样过程有很大影响，因此需要对现有定义进行重大修改，特别是平稳性的概念不适用于这种设置，而需要探讨替代方案。通过数值实验证明了这些替代形式的概念能够描述可观察的学习行为。

    Dec, 2023

  • 理解概念漂移

    本文探讨了概念漂移对机器学习实际应用的影响以及应对概念漂移的方法，提出了定量分析方法和漂移分析工具，并通过三个实际学习任务的应用验证了它们的有效性。

    Apr, 2017

  • DetAIL：一款自动检测和分析语言漂移的工具

    本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

    Nov, 2022

  • 描述概念漂移

    本研究提出了一个全面的概念漂移类型的分类法并支持定量分析，从而为解决这一问题提供了基础。

    Nov, 2015

  • 支持向量机的概念漂移可视化与滑动窗口

    我们提出了一种基于平行坐标的新型可视化模型，通过连接连续时间窗口中分布的均值，将漂移显示为这些分布的变化，用于解释机器学习模型在选择漂移点时的决策，并能检测和描述概念漂移，为进一步研究开辟了可能性。

    Jun, 2024

  • 基于概念漂移检测和基于原型的嵌入的图流分类的增量学习

    该研究论文介绍了一种新的图数据流分类方法，能在节点和边随时间变化的情况下进行模型适应的增量学习，选择每个类别的代表图并创建嵌入表示，同时通过基于损失的概念漂移检测机制来重新计算图的代表图。

    Apr, 2024