Feb, 2024

机器学习资产管理的挑战的实证研究

PDF
TL;DR通过分析开发者论坛和平台中的 15,065 个帖子，我们使用混合方法来分类查询、提取挑战并通过卡片排序和聚类方法找到解决方案，发现了与资产管理相关的 133 个主题，其中软件依赖、模型部署和模型训练是最常讨论的，同时也发现了 79 个解决方案主题，主要涉及软件依赖、特征开发和文件管理。这项研究强调了对已发现痛点的进一步探索的需要，以及学术界、行业和研究界之间协作努力的重要性。
machine learningasset managementmodel versioningdata traceabilitycollaboration
发现论文，激发创造
  • 部署机器学习的挑战：案例研究调查

    该论文调查了部署机器学习模型在实际业务系统中可能遇到的挑战和关注点，并将这些挑战与机器学习部署工作流程的各个阶段对应起来，以期为解决这些挑战探索新的方法和研究方向。

    Nov, 2020

  • 通过提供最佳支持环境来优化 AI 开发过程

    本研究旨在研究人工智能（AI）和机器学习（ML）应用程序的开发过程，为其提供最佳支持环境，并构建了一个使用深度学习技术进行数据增强的框架来解决数据不足的问题。

    Apr, 2023

  • 构建基于机器学习的系统中的协作挑战：沟通，文档，工程和流程

    该研究通过访谈 28 个组织中 45 位从业人员发现，在建立和部署机器学习系统时，团队在需求、数据和整合等方面都面临一些具体的协作挑战，主要来源于沟通、文档记录、工程和流程等方面，因此提出了一些建议以应对这些挑战。

    Oct, 2021

  • 超越发展：部署机器学习模型用于结构工程应用的挑战

    通过两个实例，本文旨在阐明开发适用于应用的机器学习模型的挑战，强调了通过自适应采样、物理学知识导向的特征选择以及考虑模型复杂性和泛化能力来实施严格的模型验证技术的重要性。

    Apr, 2024

  • 机器学习软件系统中的质量问题

    本文旨在从实践者的角度研究机器学习软件系统中的质量问题，通过一系列采访和调研，我们创建了一个包含 18 个质量问题和 24 个解决策略的目录，这将有助于开发高效的质量保证工具。

    Jun, 2023

  • 模型湖泊

    给定一组深度学习模型，找到适合的模型、理解模型、区分模型以及模型之间的差异是困难的。目前的从业者依赖手动编写的文档来理解和选择模型。然而，并非所有模型都有完整和可靠的文档。随着机器学习模型的增加，找到、区分和理解模型的问题变得更加关键。针对数据湖的研究启发，我们引入和定义了模型湖的概念。我们讨论了在大型模型管理中的基本研究挑战，并讨论了什么样的原则性数据管理技术可以应用于大型模型管理研究。

    Mar, 2024

  • Ownership at Large -- 所有权管理中的开放性问题和挑战

    本文介绍了 Facebook 的 Ownesty 系统，它使用超大规模的数据挖掘和机器学习，结合工作流和组织方面的因素来帮助寻找最适合拥有某一软件资产的人。这可以提高拥有权的可靠性，并探讨了在软件工程、编程语言和机器学习等领域中关于拥有权的问题和挑战。

    Apr, 2020

  • 大规模语言模型的数据管理：一项调查

    数据管理在大型语言模型的训练中起着基础性的作用，本文调查了数据管理在预训练和有监督微调阶段的各个方面，包括数据数量、数据质量、领域 / 任务组成等，为构建强大的大型语言模型提供了指导资源。

    Dec, 2023

  • 机器学习增强的系统工程中的问题命名

    通过国际调查，本研究提供了机器学习应用系统工程的现状和问题，推动软件工程实践的进一步应用和传播，以提升机器学习应用系统的工程水平。

    May, 2024

  • 深度强化学习系统部署：挑战分类

    该研究通过对开发人员常见问题解答平台 Stack Overflow 上的相关帖子进行实证研究，揭示并理解开发人员在部署深度强化学习系统时面临的挑战。结果显示，DRL 部署比其他问题更困难，而与 RL 环境相关的挑战是最常见和最困难的。希望这项研究能够激发未来的研究，并帮助社区克服开发人员在部署 DRL 系统时面临的最常见和最困难的挑战。

    Aug, 2023