May, 2024

通过将系统与机器学习集成，自动化 MLOps 中的模型训练和部署

PDF
TL;DR本文介绍了机器学习在现实世界应用中的重要性，探讨了 MLOps（机器学习运营）的兴起及其在解决模型部署和性能监控等挑战方面的重要性。通过回顾 MLOps 的演变和其与传统软件开发方法的关系，论文提出了将该系统与机器学习相结合以解决现有 MLOps 面临的问题并提高生产力的方法。本文重点关注自动化模型训练的重要性，以及通过版本控制系统确保训练过程的透明性和可重复性的方法。此外，还讨论了将机器学习组件集成到传统 CI/CD 流水线中面临的挑战，并提出了版本环境和容器化等解决方案。最后，论文强调了模型部署后持续监控和反馈循环的重要性，以保持模型的性能和可靠性。本文运用 Netflix 的案例研究和最佳实践，提出了成功实施 MLOps 实践的关键策略和经验教训，并为其他组织构建和优化自己的 MLOps 实践提供了有价值的参考。
machine learningmlopsmodel deploymentautomated model trainingcontinuous monitoring
发现论文，激发创造
  • MLOps：企业机器学习的一大步

    该研究详细介绍了 MLOps，它的好处，困难，演变以及重要的底层技术，如 MLOps 框架，Docker，GitHub 动作和 Kubernetes。该文章还侧重于使用各种成熟度水平的自动化管道的 ML 项目的端到端生产。它提供了一个企业级 MLOps 项目的详细示例，以解释技术在实际场景中的工作流程。

    May, 2023

  • MLOps：综述

    这篇论文研究了机器学习运营（MLOps）方法的重要性，以及如何选择最佳的工具结构来简化软件开发，并评估了各种 MLOps 方法的特性和可操作性。作者通过评估 22 篇相关论文发现，目前缺乏完全有效的 MLOps 方法，这些方法可以在不涉及人工干预的情况下实现自我调节的进步。

    Aug, 2023

  • 走向 MLOps：面向机器学习系统的 DevOps 工具推荐系统

    运用 DevOps 实践于机器学习系统，被称为 MLOps，其目的是建立不同开源工具之间的连接，构建一个能自动执行步骤来构建数据集、训练机器学习模型并将模型部署到生产环境的流水线，并存储不同版本的模型和数据集。本文提出了一个基于上下文信息（例如数据性质、数据类型）的推荐系统框架，用于为机器学习系统的操作化推荐相关的技术栈，通过对四种不同方法的调查，即基于规则的、随机森林、决策树和 K 最近邻，以准确率、召回率和 F1 分数进行评估，其中随机森林的 F1 分数最高，为 0.66。

    Feb, 2024

  • 机器学习运维 (MLOps)：概述、定义和架构

    本文旨在通过文献综述、工具综述以及专家访谈的研究方法，提供了机器学习运营的定义、必要原则、部件及角色，及其架构和工作流程的综合概述，并强调了该领域的开放性挑战，为想要用指定的技术来自动化和操作他们的机器学习产品的研究人员和从业者提供了指导。

    May, 2022

  • 面向铁路领域基于机器学习系统的持续开发和安全保障的安全 MLOps 流程

    传统的自动化技术无法实现无人驾驶列车在非受限基础设施上的运行，此研究论文介绍了一个安全可靠的机器学习运维过程，用于持续开发和安全保证铁路领域的机器学习系统。该过程集成了系统工程、安全保证和机器学习生命周期，并自动化了不同阶段的挑战。

    Jul, 2023

  • 机器学习系统部署管道的持续学习

    研究了机器学习系统的最小自动化部署技术，并比较了自动化部署技术的优劣，以帮助后来的采用者避免在实际使用案例中发生概括性错误，并选择更好的策略，同时提高机器学习系统的部署评估框架意识，有更全面、有用的评估指标，而不仅仅关注单一的因素，这对于行业决策者尤为重要。

    Dec, 2022

  • 面向工业应用的 XAI MLOps 架构

    机器学习在工业部门中成为了一个流行工具，用于提升运营效率、增加效能和降低成本。然而，在生产环境中部署和管理机器学习模型可能十分复杂，因此机器学习运维 (MLOps) 的出现旨在简化这个过程。我们开发了一种新型的 MLOps 软件架构，以解决将解释和反馈功能整合到机器学习开发和部署过程中的挑战，并在工业应用案例中实施。该软件架构提供了高效管理生产环境中机器学习模型的方式，同时允许将解释整合到开发和部署过程中。

    Sep, 2023

  • 缺乏图像数据的 MLOps：显微图像分析中的一个应用案例

    这项研究探索了 MLOps 在稀缺数据分析中的完整应用，并提出了一种新的整体方法来增强生物医学图像分析。

    Sep, 2023

  • 探索 MLOps 动态：一项在现实世界中的机器学习项目中的实验分析

    本文通过实验研究了优化 MLOps（机器学习运营）过程，旨在通过识别模式和洞察力来增强 MLOps 工作流程，并提供有关在现实世界模型开发情景中进行主动规划和持续改进的实用提示和建议。

    Jul, 2023

  • MLOps 环境下的质量保证：工业视角

    本研究为了解决工业生产系统中机器学习模型的质量检验问题，提出了基于模块化策略的数据完整性及数据质量的质量保证方法，并以工业合作案例为支撑，还提出了未来研究的几个挑战。

    Nov, 2022