ICMLNov, 2021

AlphaD3M: 机器学习流程合成

PDF
TL;DR本文介绍了基于元强化学习使用序列模型自我训练的 AlphaD3M 自动机器学习系统。与 Autosklearn、Autostacker 和 TPOT 等最先进的 AutoML 系统相比，AlphaD3M 具有相当的性能优势并且具有可解释性，其计算时间从几小时缩短为几分钟。
alphad3mautomlmachine learning pipelineexplainabilitycomputation time
发现论文，激发创造
  • 使用基于模型的强化学习和语法合成进行管道合成的自动化机器学习

    AlphaD3M 使用自我博弈的强化学习实现 AutoML 并创造最新状态，之后通过运用管道语法和预训练模型进一步改进，取得了 AutoML 分类和回归任务基准数据集方面的表现优于现有方法的结果。

    May, 2019

  • SapientML: 通过从人类编写的解决方案中学习来综合机器学习流水线

    本文提出了一种名为 SapientML 的自动机器学习技术，通过从现有数据集中学习人类编写的管道，实现针对新数据集的高质量管道的快速生成，采用了一种三阶段程序合成方法来进行搜索空间的有效管理。评估结果表明，在 41 个基准数据集中，SapientML 在 27 个基准数据集上的表现最佳或与最佳工具相当。

    Feb, 2022

  • 在线自动机器学习：一种适用于在线学习的自适应自动机器学习框架

    本研究旨在针对数据漂移自动设计在线学习的管道，将在线学习器的固有适应能力与自动化管道的快速优化能力结合起来，我们基于异步遗传编程和异步连续缩减思路优化管道，实验证明了 OAML 系统在数据漂移情况下相比流行的在线学习算法具有更好的性能和适应能力，连续管道重新设计在处理数据漂移问题时效果显著。

    Jan, 2022

  • 基于 ADMM 的 AutoML 管道配置框架

    提出了一种基于 ADMM 的 AutoML 框架，可以将优化问题分解为易于处理的子问题，并整合黑箱约束以及优化目标函数。在 UCI ML 和 OpenML 数据集上的实验表明，相比其他的 AutoML 方法，该框架具有更大的灵活性、更高的效果和独特的能力。

    May, 2019

  • STREAMLINE: 一个简单、透明、端到端自动化机器学习管道，促进数据分析和算法比较

    STREAMLINE 是一个简单、透明、端到端的自动化机器学习 (pipeline)，旨在比较数据集、机器学习算法和其他 AutoML 工具的性能，在数据处理、模型比较方面提供一个全面和一致的基准。

    Jun, 2022

  • AutoMMLab：自然语言指令生成计算机视觉任务的可部署模型

    AutoMMLab 是一个通用的、基于 LLM（语言模型）驱动的 AutoML 系统，通过用户友好的语言界面，自动化计算机视觉任务的整个模型生产流程，并利用 LLM 作为桥梁连接 AutoML 和 OpenMMLab 社区，使非专家个体能够轻松构建特定任务的模型。

    Feb, 2024

  • 基于知识的自动机器学习架构

    该论文提出了一种以知识驱动的自动机器学习架构，用于管道和深度特征的合成，旨在使自动机器学习过程可解释，并在管道和特征的合成中利用领域知识。该架构探索了几个创新理念：首先，以统一的方式构建管道和深度特征；其次，通过一个共享的知识系统进行合成，可以交互式地查询要使用的管道操作或计算的特征；最后，合成过程在运行时使用部分解决方案和其在数据上应用的结果来进行决策。进行了两个实验来演示所提议的架构的基本实现功能，并讨论了其优势、权衡以及在自动机器学习中的未来潜力。

    Nov, 2023

  • 局限严重应用中的自动机器学习

    本文提出了一种名为 Caml 的元学习方法，可以自动适应其自身 AutoML 参数，以优化特定任务的高性能管道，并可以考虑用户定义的应用约束条件，以获得满足约束条件的高预测性能的管道。

    Jun, 2023

  • Autostacker: 一种组合进化学习系统

    Autostacker 是一种基于 Evolutionary Algorithm 的自动机器学习建模架构，通过创新的分层堆叠结构快速演化候选流水线，从而找到机器学习模型的创新组合和结构，而无需事先了解数据或特征预处理。与其他自动机器学习系统相比，在 15 个数据集上，Autostacker 在测试准确性和时间成本方面均实现了领先或竞争性的表现。

    Mar, 2018

  • AutoML 的深度管道嵌入

    本文提出一种新的神经架构，将 Machine Learning pipeline 的组件嵌入到潜在表示中，通过 Bayesian Optimization 机制中的深度内核高斯过程模型在 meta-datasets 上搜索优化最优的 pipeline 嵌入，实验结果表明 pipeline 嵌入可以在 Pipeline Optimization 中取得最优结果。

    May, 2023