本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，GoogleNet 和 ResNet-50），分析了引起这四个框架性能差异的因素，并提出进一步优化方向。通过分析和实验研究，发现了可以进一步优化的瓶颈和开销，为算法设计和系统配置提供了改进方向。

Nov, 2017

基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了 2 倍。

Oct, 2023

通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如快速选择最快的嵌入表分片配置。

Apr, 2024

针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

Mar, 2017

本文提出了一种针对深度学习神经网络训练时间预测的方法，通过训练神经网络预测每部分的执行时间，从而得出整体的深度学习网络训练时间，可以用于推断每个批次或整个 epoch 的执行时间，也可以支持选择适当的硬件和模型。

Nov, 2018

通过系统文献综述和实证研究，本论文提出了深度学习技术在配置性能建模方面的知识缺口，并通过比较编码方案、提出稀疏性鲁棒框架 DaL 和顺序元学习框架 SeMPL，显著提高了性能预测的准确性。

Jul, 2024

提出了一种基于图神经网络的模型，通过采用三种不同的网络结构：拓扑学、中心性和语境，结合两种注意机制，确定确定团队成功的关键成员，并量化三个因素对团队绩效的贡献；该模型在预测团队绩效方面表现出色，并在合成数据集上进行了验证，证明其性能优于基线模型。

Jun, 2022

本研究评估了深度学习模型在多变量时间序列数据方面的稳健性和泛化性能，发现某些 DL 模型体系结构和训练技术在处理各种干扰和超出分布样本时表现更为出色，这为开发在实际 CPS 应用中能够提供可靠且鲁棒性能的 DL 模型带来了重要的启示。

Jun, 2023

介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

Jun, 2021

本研究提出了一种混合模型，将经典时间序列模型与基于深度神经网络的模型结合起来，通过全局深度组件实现可扩展性和数据驱动，同时通过本地经典模型处理不确定性。实验证明，该模型在数据效率、准确性和计算复杂性方面具有优势。

May, 2019