本文主要研究了 Caffe、CNTK、MXNet、TensorFlow 和 Torch 等最新的 GPU 加速深度学习软件工具，并通过基准测试比较了这些工具的性能。本研究旨在为终端用户选择合适的硬件平台和软件工具提供指南，并为深度学习工具的软件开发者指出未来的性能优化方向。

Aug, 2016

TopoBenchmarkX 是一个模块化的开源库，旨在标准化基于拓扑的深度学习的基准测试，并加速研究。它将拓扑深度学习的流程映射为一系列独立和模块化的组件，包括数据加载和处理、模型训练、优化和评估。TopoBenchmarkX 的关键特点是它允许在拓扑领域之间进行转换和提升，以获得更丰富的数据表达和更精细的分析。通过对多个任务和数据集的拓扑深度学习架构进行基准测试，展示了 TopoBenchmarkX 的适用范围。

Jun, 2024

本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，GoogleNet 和 ResNet-50），分析了引起这四个框架性能差异的因素，并提出进一步优化方向。通过分析和实验研究，发现了可以进一步优化的瓶颈和开销，为算法设计和系统配置提供了改进方向。

Nov, 2017

通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

Mar, 2018

该研究提出了一个名为 DeepfakeBench 的全面基准测试，旨在解决当前深度伪造检测领域中存在的数据处理流程，评估指标和方法缺乏统一标准的问题，从而促进该领域的进一步研究和发展。

Jul, 2023

提出一个用于深度学习优化基准的 Python 包 DeepOBS，该包包括广泛和可扩展的真实优化问题集，以及最流行的优化器的基准结果，支持 TensorFlow，并提供直接生成 LaTeX 代码的输出后端。

Mar, 2019

该研究介绍了一种基于深度学习的黑盒优化框架，Deeplite Neutrino，旨在优化深度学习模型的大小，从而在边缘设备上实现设备上智能应用。该框架易于将其纳入现有生产流程并支持 PyTorch 和 Tensorflow 库。同时，该框架的性能经过了多个基准数据集和流行的深度学习模型的优化，且在多个客户端获得了成果和证明。

Jan, 2021

这篇研究论文介绍了一个参数化基准套件 Paradnn，用于评估深度学习平台性能，重点评估了谷歌 Cloud TPU v2/v3、英伟达 V100 GPU 和英特尔 Skylake CPU 平台，在针对每种平台引入特殊软件技术栈的情况下，对每种类型的模型的专门优势进行了量化比较。

Jul, 2019

本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。

Oct, 2018

本文提出一种针对分布式环境下深度学习应用程序的性能建模方法，使用正则化和差分进化算法解决全局优化问题，可用于任何分布式深度神经网络，为性能和可扩展性提供有帮助的因素解释和准确性预测。

May, 2023