KDDJun, 2023

通过历史自动验证：自动编写数据质量约束来验证经常性数据管道

PDF
TL;DR提出了 Auto-Validate-by-History (AVH) 算法，该算法能够自动检测经常性的数据管道中的数据质量问题。在 Microsoft 的 2000 个生产数据管道的评估中表现出了其效果和效率。
data pipelinesdata qualityrecurringmachine-learningbusiness-intelligence
发现论文，激发创造
  • 通过 “Shadow Pipelines” 交互式提高机器学习数据准备代码

    通过使用隐藏变体的阴影管道自动检测潜在问题、尝试修改以改善性能并向用户提出和解释这些修改的建议，我们提出在机器学习管道开发周期中通过交互式建议来支持数据科学家，并应用基于增量视图维护的优化来确保低延迟计算和维护阴影管道的可行性和潜在好处。

    Apr, 2024

  • 朝着增强的数据质量管理：数据仓库中数据质量规则定义的自动化

    该研究旨在探索自动化数据质量管理的潜力，以提高数据质量检测规则在数据仓库中的实施，进而增强数据质量管理的效率。

    Jun, 2024

  • 数据管道培训：集成 AutoML 以优化机器学习模型的数据流

    通过整合 AutoML 与数据管道，优化数据流的自动化机器学习方法并构建高效的数据管道以适应不断变化的数据环境，从而在机器学习任务中取得更好的结果。

    Feb, 2024

  • AutoCure: 用于机器学习管道的自动表格数据整理技术

    AutoCure 是一种自动化的数据准备方法，通过集成基于集成模型的错误检测方法和数据增强模块，可以提高标签数据的质量，加快机器学习模型的准备过程，无需用户干预。相比传统的数据准备工具，AutoCure 在 28 种不同的数据准备方法中获得了优异的表现和预测准确性。

    Apr, 2023

  • 自动化机器学习方法在价格预测应用中的基准测试

    应用自动化的机器学习（AutoML）方案代替手动创建的机器学习管道，结合公司的领域知识进行价格预测的工业需求研究，展示了 AutoML 导致的小型和中型企业对机器学习专家的依赖减弱的可能性。

    Apr, 2023

  • 深度学习和大数据应用的自动数据处理和特征工程：一项调研

    现代人工智能（AI）的方法旨在设计可以直接从数据中学习的算法，本文综述了深度学习流程中自动化数据处理任务的方法，包括数据预处理、数据增强和特征工程，并讨论了自动机器学习方法和工具在整个机器学习流程中的优化应用。

    Mar, 2024

  • 人工智能模型持续开发的流程 —— 研究与实践当前状况

    本文提供了一个综合的文献综述及九个半结构化采访，总结了 AI 模型持续开发中面临的挑战。作者提出了一种适用于 AI 持续开发的流水线，包含数据处理、模型学习、软件开发及系统运维四个阶段，并针对每个阶段的实施、适应和使用提出了具体挑战。

    Jan, 2023

  • 使用基于模型的强化学习和语法合成进行管道合成的自动化机器学习

    AlphaD3M 使用自我博弈的强化学习实现 AutoML 并创造最新状态，之后通过运用管道语法和预训练模型进一步改进，取得了 AutoML 分类和回归任务基准数据集方面的表现优于现有方法的结果。

    May, 2019

  • 演化自动机器学习与复合管道的结构敏感性分析的集成

    自动化机器学习系统提出了一种针对给定机器学习问题的端到端解决方案，创建了固定或灵活的流程。 EVOSA 方法通过引入敏感性分析来解决灵活流程的负面因素，并提高了灵活解决方案的鲁棒性和可解释性。

    Dec, 2023

  • 在线自动机器学习：一种适用于在线学习的自适应自动机器学习框架

    本研究旨在针对数据漂移自动设计在线学习的管道，将在线学习器的固有适应能力与自动化管道的快速优化能力结合起来，我们基于异步遗传编程和异步连续缩减思路优化管道，实验证明了 OAML 系统在数据漂移情况下相比流行的在线学习算法具有更好的性能和适应能力，连续管道重新设计在处理数据漂移问题时效果显著。

    Jan, 2022