Nov, 2022

图像机器学习数据漂移控制的数据模型

PDF
TL;DR本研究结合传统机器学习和光学物理学，构建显式且可微分的数据模型，用于控制下游机器学习模型性能与数据漂移相关性，进而进行数据环境的精密规定和优化。
machine learningdataset driftphysical opticsdata modelsdrift optimization
发现论文，激发创造
  • DetAIL：一款自动检测和分析语言漂移的工具

    本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

    Nov, 2022

  • 大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

    本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

    Jun, 2023

  • 数据反馈环路：基于模型驱动的数据集偏差放大

    本文旨在通过记录模型与数据的交互过程，以改善未来爬取的 Internet 数据集的信息稳定性。我们发现模型输出表现为源自训练集的样本具有一致性校准时，偏见放大的程度与模型预测的性别偏差等测试时偏差统计显著相关，如果同时在三个条件预测场景中使用，能更好的校准和稳固反馈系统。

    Sep, 2022

  • 朝向持续学习的应用性能模型

    基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了 2 倍。

    Oct, 2023

  • 揭示文本数据中的漂移：一种检测和缓解机器学习模型漂移的无监督方法

    机器学习中的漂移是指模型所操作的数据或上下文的统计特性随时间改变而导致其性能下降的现象。为了及时预防潜在的性能退化，保持对机器学习模型性能的持续监控过程至关重要。在我们提出的无监督漂移检测方法中，我们采用了两步过程。第一步涉及将生产数据的样本编码为目标分布，将模型训练数据作为参考分布。在第二步中，我们采用了基于核的统计检验，利用最大均值离差（MMD）距离度量来比较参考和目标分布，并估计任何潜在的漂移。我们的方法还能够识别导致漂移的生产数据子集。使用这些被确定为高漂移样本进行重新训练的模型在在线客户体验质量指标上表现出了改进。

    Sep, 2023

  • 评估机器学习方法以解决物联网传感器漂移问题

    本文研究了多种机器学习方法处理各种行业和应用中传感器漂移问题的能力，并在公开可获得的气体传感器数据集上测试了这些方法，结果表明这些方法在传感器漂移问题上存在明显的性能下降。

    Sep, 2021

  • 流式短文本可靠可解释的漂移检测

    本研究提出了一种可靠的端到端框架，用于大型任务导向对话系统中模型无关变点检测和解释，并通过模拟对话系统中的客户请求，评估了该方法并展示了其效果。

    May, 2023

  • 解决语义分割模型漂移的数据质量感知方法

    本研究通过全面实验，旨在探讨数据质量评估和数据调整两种重要策略对抗模型漂移的效果，以提高语义分割模型的性能和可靠性，从而推动计算机视觉在实际场景中的发展。

    Feb, 2024

  • 生成文本流中的漂移方法

    本文提供了四种文本漂移生成方法，以便生成带有标记漂移的数据集，并使用增量分类器测试它们恢复漂移的能力。结果表明，所有方法在漂移后性能都有所下降，增量支持向量机在准确性和宏 F1 得分方面运行速度最快，恢复了之前的性能水平。

    Mar, 2024

  • 通过模型重用处理概念漂移

    研究了如何通过模型重用应对数据流中的概念漂移问题，为每个模型赋予权重，并根据模型性能自适应调整权重，在合成和真实数据集上进行实验验证方法的优越性。

    Sep, 2018