Jul, 2024

研究 TensorFlow 和 PyTorch 绑定对机器学习软件质量的影响

HTML
PDF
TL;DR本文研究了在C＃，Rust，Python和JavaScript中使用TensorFlow和PyTorch绑定对软件质量（正确性和时间成本）的影响，当使用五种常用深度学习模型进行训练和推断时，我们的实验表明，可以在一个绑定中训练模型，然后在另一个绑定中使用推断，而不会失去准确性。我们的研究首次表明，与默认的Python绑定相比，使用非默认绑定可以从时间成本的角度改善机器学习软件的质量，同时仍然达到相同的正确性水平。
发现论文，激发创造
  • TensorFlow Estimators: 高层次机器学习框架中简单性与灵活性的平衡管理

    提出了一个框架，以简化创新的机器学习方法，以便将这些技术应用于生产环境中。该框架允许用户编写代码以定义他们的机器学习模型，并提供抽象层以指导开发人员将模型编写为有利于生产环境的方式。通过使用特征列，对模型进行参数化，同时提供了一组实用程序，旨在加快实验工作，以使开箱即用的模型灵活且适用于各种问题。

    Aug, 2017

  • 使用小型代理数据集加速超参数搜索

    论文介绍了一种通过生成小型的代理数据集来加速机器学习模型训练的方法，并将其与基于完整数据集训练的基准模型进行了对比，实验证明该方法能够提高模型训练效率并得到高质量的实验结果。

    Jun, 2019

  • MLPerf 训练基准测试

    MLPerf是一个机器学习基准测试，用于量化评估训练性能和可扩展性，解决了优化训练、随机性和系统差异等挑战。

    Oct, 2019

  • PyTorch：一款命令式的高性能深度学习库

    本文介绍了深度学习框架 PyTorch 的原则、架构及其对硬件的支持，重点阐述了 PyTorch 是一种Pythonic编程风格的机器学习库，同时保持了高效性。

    Dec, 2019

  • 使用PyTorch简化Tensor和网络剪枝

    本文介绍了PyTorch中torch.nn.utils.prune模块的新扩展，提供了共享的、开源的剪枝功能，以便在模型训练前、中、后减小模型的大小和容量，帮助减少资源有限设备上部署快速、可持续、私密的模型的技术难度。

    Apr, 2020

  • 深度学习框架中图书馆使用和依赖的实证研究

    本文研究了深度学习相关软件库的使用情况，以及它们在机器学习工作流程中的依赖关系，并提出了硬件构建者和软件库构建者的一些建议。研究基于1484个开源深度学习项目，发现深度学习库的使用趋势正在上升，目前使用最广泛的库组合为pytorch和Scikit-learn，以及Keras和TensorFlow。

    Nov, 2022

  • TorchBench：使用高API覆盖率对PyTorch进行基准测试

    我们提出了TorchBench，一个用于研究PyTorch软件栈性能的基准套件，能够全面表征PyTorch软件栈的性能，引导跨模型、PyTorch框架和GPU库的性能优化。

    Apr, 2023

  • 机器学习系统的最佳实践：分析和优化的工业框架

    该研究论文提出了一个用于分析机器学习系统中软件工程最佳实践集的质量影响和优先级的框架，并介绍了适用于ML系统的分层软件质量模型(SQM)。通过应用集函数优化技术，可以回答哪些实践集可以最大程度地增加SQM覆盖范围，哪些是最重要的，应该实施哪些实践以改善特定的质量方面。

    Jun, 2023

  • PyTorch内部错误的实证研究：一项复制研究

    通过研究PyTorch库的bug识别和修复过程，我们发现PyTorch的bug更像传统软件项目的bug，而不是与深度学习特性有关的。同时，我们还将结果与对TensorFlow的研究进行了比较，突出了在bug识别和修复过程中的相似之处和差异之处。

    Jul, 2023

  • 机器学习应用中神经网络的自动高效定制

    通过研究现有ML API的输出如何影响应用程序的决策过程，我们提出了一种名为ChameleonAPI的优化框架，该框架可以根据每个应用程序自定义训练和部署神经网络模型，从而减少应用程序的错误决策约43%。

    Oct, 2023