Dec, 2023

DREAM: 自动机器学习流程的调试和修复

PDF
TL;DR深度学习模型已成为现代软件系统中的一个整合组件。研究人员提出了自动化机器学习（AutoML）系统以应对模型设计的挑战，并发现现有的 AutoML 系统存在两个常见和严重的 bug：性能 bug 和无效的搜索 bug。为了解决这些问题，他们设计实现了 DREAM，一个用于自动修复 AutoML 系统 bug 的自动化调试和修复系统。实验结果表明 DREAM 能够有效高效地修复 AutoML 的 bug。
发现论文，激发创造
  • AutoML: 现有技术的概述

    本文综述了自动机器学习领域中的最新研究进展，包括数据准备、特征工程、超参数优化和神经架构搜索等方面，并着重探讨了神经架构搜索的性能和发展方向，指出目前自动机器学习领域的存在的问题及未来研究方向。

    Aug, 2019

  • 局限严重应用中的自动机器学习

    本文提出了一种名为 Caml 的元学习方法，可以自动适应其自身 AutoML 参数，以优化特定任务的高性能管道，并可以考虑用户定义的应用约束条件，以获得满足约束条件的高预测性能的管道。

    Jun, 2023

  • 自监督式缺陷检测和修复

    BugLab 是一种基于机器学习的、自监督学习为主的程序分析方法，通过两个模型共同训练，可以有效地发现和修复代码中的错误，提高了 2374 个真实缺陷数据集的检测和修复准确度，同时发现了 19 个以前未知的错误。

    May, 2021

  • AutoMMLab：自然语言指令生成计算机视觉任务的可部署模型

    AutoMMLab 是一个通用的、基于 LLM（语言模型）驱动的 AutoML 系统，通过用户友好的语言界面，自动化计算机视觉任务的整个模型生产流程，并利用 LLM 作为桥梁连接 AutoML 和 OpenMMLab 社区，使非专家个体能够轻松构建特定任务的模型。

    Feb, 2024

  • AlphaD3M: 机器学习流程合成

    本文介绍了基于元强化学习使用序列模型自我训练的 AlphaD3M 自动机器学习系统。与 Autosklearn、Autostacker 和 TPOT 等最先进的 AutoML 系统相比，AlphaD3M 具有相当的性能优势并且具有可解释性，其计算时间从几小时缩短为几分钟。

    Nov, 2021

  • 实践中自动化机器学习的通用配方

    自动化机器学习（AutoML）是一个研究领域，专注于开发自动生成机器学习模型的方法。本文提出了一个建立通用 AutoML 系统的参考框架，并通过对该领域主要方法的叙述性回顾，提炼了基本概念以支持其设计，并讨论了 AutoML 应用中的一些未解决问题，以供未来研究参考。

    Aug, 2023

  • 在线自动机器学习：一种适用于在线学习的自适应自动机器学习框架

    本研究旨在针对数据漂移自动设计在线学习的管道，将在线学习器的固有适应能力与自动化管道的快速优化能力结合起来，我们基于异步遗传编程和异步连续缩减思路优化管道，实验证明了 OAML 系统在数据漂移情况下相比流行的在线学习算法具有更好的性能和适应能力，连续管道重新设计在处理数据漂移问题时效果显著。

    Jan, 2022

  • 使用基于模型的强化学习和语法合成进行管道合成的自动化机器学习

    AlphaD3M 使用自我博弈的强化学习实现 AutoML 并创造最新状态，之后通过运用管道语法和预训练模型进一步改进，取得了 AutoML 分类和回归任务基准数据集方面的表现优于现有方法的结果。

    May, 2019

  • 将超参数搜索集成到 GramML 中

    提出了 GramML 的扩展方法，支持更大的搜索空间，包括超参数搜索，通过 OpenML 基准测试发现与其他最新技术相比有显著的改进。

    Apr, 2024

  • Detect-Localize-Repair: 使用 CodeT5 学习调试的统一框架

    提出了一种基于预训练编程语言模型 CodeT5 的新型统一 “Detect-Localize-Repair” 框架 CodeT5-DLR，它包括三个目标，即 bug 检测、定位和程序修复，并在 Java 和 Python 的两个新收集的行级调试数据集上进行了评估。结果表明，该模型在 NLP 和软件工程领域的现有基线上显著优于其他机器学习方法。

    Nov, 2022