Sep, 2023

巨大的幻觉：软件可移植性的神话及其对机器学习进展的影响

PDF
TL;DR主流机器学习软件框架的可移植性研究表明，在不同硬件类型间转移框架会导致超过 40% 关键功能丧失且性能严重下降，这揭示了硬件专业化对机器学习研究创新的阻碍。
machine learninghardwaresoftware combinationsportabilityperformance
发现论文，激发创造
  • 一个旨在表征不同框架和平台下深度学习开发与部署的实证研究

    该研究对主流深度学习框架和平台在开发和部署中的影响进行了系统研究，结果表明计算差异可能导致项目的预测准确度下降，部署过程仍存在兼容性和可靠性问题，并通过发现的问题总结出实用的指南以及明确新的研究方向。

    Sep, 2019

  • 关于机器学习中硬件选择的公平性影响

    在机器学习生态系统中，硬件选择经常被认为只是一个辅助工具，而算法和数据则是关注重点。然而，在诸如机器学习即服务平台这样的环境中，用户通常无法控制模型部署所使用的硬件，这种忽视尤其成问题。本文调查了硬件选择对模型性能和公平性之间微妙平衡的影响。我们通过理论和实证分析，不仅找出了其中的潜在因素，还提出了一种有效的策略来缓解硬件引起的性能不平衡。

    Dec, 2023

  • MLPerf 推理基准测试

    这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

    Nov, 2019

  • 机器学习系统中的跨层能量优化

    机器学习和生成型人工智能的巨大能源消耗对运营成本、电力传输和环境可持续性产生负面影响。然而，通过 Zeus 和 Perseus 的两项最新工作，我们发现软件在机器学习能耗优化方面起着关键作用。特别是对于大型语言模型，由于其模型大小和能源需求增长速度超过硬件效率改进的速度，因此我们主张采用跨层次方法来优化机器学习系统中的能源利用，其中硬件提供支持架构，推动能源高效软件的进一步发展，软件则利用和抽象硬件的特性，开发能够实现与硬件无关的能源效率提升技术。

    Apr, 2024

  • 降低基礎模型訓練的進入門檻

    我们提出了一种基于分析框架的方法，量化突出了训练大型语言模型的进入障碍，并指出了减轻这些障碍的机会。

    Apr, 2024

  • 基于成本的机器学习流水线硬件软件协同优化

    通过量化、成本限制平台等因素综合考虑，探讨如何在边缘平台上最优化地设计系统和部署模型，以实现广泛适用的智能设备。

    Oct, 2023

  • Flashlight：为机器学习工具的创新而设计

    机器学习系统的计算需求和框架的规模和复杂性不断增加，而既有框架开发的创新日益艰难。本文提出 Flashlight 开源库，通过优先考虑开放、模块化、可定制的内部和研究就绪的模型和培训设置，在各个领域实现快速原型设计和实验，为机器学习工具和系统中的创新激发推动作用，从而使机器学习和系统研究人员更加接近。

    Jan, 2022

  • 神经加速器的硬件 / 软件学习式协同设计

    本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

    Oct, 2020

  • 机器学习系统中向后兼容性的实证分析

    本文研究机器学习中的更新问题，探讨了一些挑战和需要解决的问题，包括向后兼容性，数据偏移和噪声数据集等，并提出了解决这些问题的策略。

    Aug, 2020

  • 应用软件工程技术实现应用机器学习的指导

    研究指出，现有的机器学习开发环境和 API 缺乏足够的指导及软件工程最佳实践，需要在专门开发的机器学习应用程序开发方面扩展和适应软件工程概念、工具和技术，并为机器学习特定的软件工程提供充足的研究机会。

    Mar, 2022