Mar, 2024

Couler: 云端统一的机器学习工作流优化

PDF
TL;DR通过使用自然语言描述生成机器学习工作流，Couler 系统实现了云端的统一机器学习工作流优化，并通过自动缓存、自动并行化和自动超参数调整等方式提高了工作流计算效率，降低了冗余计算成本和提高了深度学习工作流训练的容错性。
machine learningml workflowsworkflow optimizationcoulernatural language descriptions
发现论文，激发创造
  • 利用大型语言模型构建和执行计算工作流

    利用大型语言模型、代码生成和工作流管理系统的初步发现，本文探讨了如何利用这些新兴技术来实现复杂科学工作流的自动化。

    Dec, 2023

  • Looper：针对产品决策的端到端机器学习平台

    介绍了一个简化决策和反馈收集的机器学习平台 Loops，覆盖了从收集训练数据和模型训练到部署和推理的整个 ML 生命周期，并拓展了对个性化、因果评估和基于贝叶斯的产品目标调整的支持。

    Oct, 2021

  • MLCopilot: 大型语言模型在解决机器学习任务中的应用

    本文介绍了一种利用 LLMs 自动学习生成机器学习解决方案的框架 MLCopilot，旨在将机器智能与人类知识相结合来提高解决新任务的能力，生成的解决方案可以直接应用于实际环境中。

    Apr, 2023

  • MLOps：企业机器学习的一大步

    该研究详细介绍了 MLOps，它的好处，困难，演变以及重要的底层技术，如 MLOps 框架，Docker，GitHub 动作和 Kubernetes。该文章还侧重于使用各种成熟度水平的自动化管道的 ML 项目的端到端生产。它提供了一个企业级 MLOps 项目的详细示例，以解释技术在实际场景中的工作流程。

    May, 2023

  • 数据副驾驶：用自主工作流桥接亿万数据与人类

    提出了基于大型语言模型的数据处理系统 Data-Copilot，通过自主设计各种功能接口，实现了数据的自动处理和可视化，符合人机交互的需求。

    Jun, 2023

  • 加速人机协同机器学习：挑战与机遇

    该研究描述了一种 “人机互动” 机器学习系统的愿景，它通过智能跟踪更改和中间结果，实现了工作流加速，反馈及时，内省和调试，背景执行和自动化，并描述了 Helix，初步尝试这样一个系统已经在典型的迭代工作流中实现了最多 10 倍的提速。

    Apr, 2018

  • CoLLiE: 高效方式中的大型语言模型的协同训练

    这篇论文介绍了 CoLLiE，一种高效的库，通过 3D 并行性、参数高效微调方法和优化器，如 Lion、Adan、Sophia、LOMO 和 AdaLomo，促进了大型语言模型的协作训练。CoLLiE 在预训练和微调场景中证明了其卓越的训练效率，并在吞吐量方面进行了综合比较各种优化器和 PEFT 方法。

    Dec, 2023

  • 走向 MLOps：面向机器学习系统的 DevOps 工具推荐系统

    运用 DevOps 实践于机器学习系统，被称为 MLOps，其目的是建立不同开源工具之间的连接，构建一个能自动执行步骤来构建数据集、训练机器学习模型并将模型部署到生产环境的流水线，并存储不同版本的模型和数据集。本文提出了一个基于上下文信息（例如数据性质、数据类型）的推荐系统框架，用于为机器学习系统的操作化推荐相关的技术栈，通过对四种不同方法的调查，即基于规则的、随机森林、决策树和 K 最近邻，以准确率、召回率和 F1 分数进行评估，其中随机森林的 F1 分数最高，为 0.66。

    Feb, 2024

  • 基于语法的演化方法实现领域操作符和集成多样性的自动化工作流组合

    自动机器学习，自动工作流组合，EvoFlow，基因操作符，集成

    Feb, 2024

  • Lale: 一致自动化机器学习

    Lale 是一个高级 Python 接口库，它简化和统一自动机器学习工具，包括搜索超参数、算法和管道拓扑结构等，并解决了自动化工具的不一致语法和高级功能支持问题。

    Jul, 2020