SVBRDF 提取模型的 GPU 基准测试

Oct, 2023

Benchmarking GPUs on SVBRDF Extractor Model

Narayan Kandel, Melanie Lambert

TL;DR通过深度学习的成熟度，在各个领域中其应用不断增加。同时，市场上各种类型的图形处理单元（GPU）变得更加丰富，这给用户选择带来了困难。为了实现特定任务的最佳性能，用户应该如何选择 GPU？虽然 GPU 架构的分析已经得到了深入研究，但现有的 GPU 基准测试工作并没有研究处理较大输入的网络任务。在本研究中，我们试图区分不同 GPU 在操作更大输入图像（256x256）的神经网络模型上的性能。

Abstract

With the maturity of deep learning, its use is emerging in every field. Also, as different types of gpus are becoming more available in the markets, it creates a difficult decision for users. How can users select

deep learning gpus optimal performance gpu architecture neural network models

发现论文，激发创造

深度学习推荐模型规模训练效率探究

本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

Nov, 2020

与硬件协同设计模型架构的案例

通过仔细考虑 GPU 上执行的基础计算核心的各种模型超参数对模型形状效率的影响，我们提供了一套指南，以最大化用户的 Transformer 模型的运行时性能。通过优化模型形状，与具有类似参数但形状未经优化的模型相比，高效模型形状的吞吐量提高了多达 39％，同时保持准确性。

Jan, 2024

深度学习模型在两个高性能计算系统上的材料分割性能基准测试

HPC 系统性能基准测试中发现，使用机器学习模型对使用 GPU 加速节点进行材料分割分析时，Onyx 和 Vulcanite 两个 ERDC DSRC 系统的表现存在差异，Onyx 在各项测试中的模型时间保持一致，而 Vulcanite 在大多数基准测试中速度较快，但也受环境因素影响导致部分性能较慢。

Jul, 2023

GPU 上的分布式深度学习框架性能建模与评估

本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，GoogleNet 和 ResNet-50），分析了引起这四个框架性能差异的因素，并提出进一步优化方向。通过分析和实验研究，发现了可以进一步优化的瓶颈和开销，为算法设计和系统配置提供了改进方向。

Nov, 2017

代表性深度神经网络结构的基准分析

本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。

Oct, 2018

EmBench：量化现代通用设备上深度神经网络的性能变化

该研究使用各种普通设备系统地评估了一系列最先进的 DNN，识别了每种架构的潜在瓶颈，并提供了可以帮助社区协同设计更高效的 DNN 和加速器的重要指导方针。

May, 2019

大规模神经网络训练调查

本文系统地讨论了提高深度神经网络训练效率的方法，重点考虑了内存利用率和 GPU 训练，分类总结了相关策略，并且比较了不同类别之间的方法。

Feb, 2022

深度学习软件工具的最新技术对标

本文主要研究了 Caffe、CNTK、MXNet、TensorFlow 和 Torch 等最新的 GPU 加速深度学习软件工具，并通过基准测试比较了这些工具的性能。本研究旨在为终端用户选择合适的硬件平台和软件工具提供指南，并为深度学习工具的软件开发者指出未来的性能优化方向。

Aug, 2016

基于 CPU 的深度学习模型：高效训练的方法论

本文提出了一种在 Intel CPU 上优化深度学习模型训练的方法和工具集 ProfileDNN 以及一个任务优化方法，旨在解决在选择适当硬件时成本和效率之间的权衡问题，并通过几个案例研究探讨了如何使用 ProfileDNN 和 Intel PyTorch 扩展来优化模型训练。

Jun, 2022

深度学习优化器基准测试 - 穿越拥挤的山谷

本文通过对 15 种深度学习优化器的广泛基准测试，得出以下结论：(i) 优化器的性能因任务而异。(ii) 使用默认参数评估多个优化器大致与调整单个优化器的超参数一样好。(iii) Adam 仍然是一个强有力的竞争者，其它新的方法未能显著并持续地超越它。

Jul, 2020