Benanza: 自动 $μ$ 基准测试生成，用于计算 GPU 上深度学习模型的 “下限” 延迟并提供优化建议

Nov, 2019

Benanza: 自动 $μ$ 基准测试生成，用于计算 GPU 上深度学习模型的 “下限” 延迟并提供优化建议

Benanza: Automatic $μ$Benchmark Generation to Compute "Lower-bound" Latency and Inform Optimizations of Deep Learning Models on GPUs

PDF

Cheng Li, Abdul Dakkak, Jinjun Xiong, Wen-mei Hwu

TL;DR该论文提出了 Benanza，它是一个可持续和可扩展的基准测试和分析设计，可以加快对 GPU 上的 DL 模型的特征 / 优化循环，并对 30 个 ONNX 模型进行了评估，从中识别出了许多优化机会。

Abstract

As deep learning (DL) models have been increasingly used in latency-sensitive applications, there has been a growing interest in improving their response time. An important venue for such improvement is to profile the execution of these models and characterize their →

deep learning benchmarking optimization gpus performance

发现论文，激发创造

Benchopt: 可重现、高效和协作的优化基准

提出了 Benchopt，这是一个协作框架，旨在自动化、再现和发布跨编程语言和硬件架构的机器学习优化基准测试，为社区提供了一个现成的工具，以简化基准测试，并展示了三个标准学习任务的基准测试结果，重点关注实际评估中的细节问题，以此促进社区协作工作，改善研究结果的可再生性。

Jun, 2022

具有多目标贝叶斯优化的延迟感知神经架构搜索

使用贝叶斯优化方法，探索了在机器学习模型中，构架和超参数的调节与所得准确性与延迟之间的平衡方法。

Jun, 2021

TorchBench：使用高 API 覆盖率对 PyTorch 进行基准测试

我们提出了 TorchBench，一个用于研究 PyTorch 软件栈性能的基准套件，能够全面表征 PyTorch 软件栈的性能，引导跨模型、PyTorch 框架和 GPU 库的性能优化。

Apr, 2023

BenchDirect: 用于编译器基准测试的定向语言模型

本文提出了 BenchPress 和 BenchDirect，利用机器学习编译器生成基准测试案例，能够在源代码特征表示内定向生成可执行的函数，通过主动学习向已有数据集中引入具有未见过特征的新基准测试案例，成功地针对 Rodinia 的基准测试的特征进行了生成，模型的辨别和准确度效果优于现有方法。

Mar, 2023

BenchPress：一款深度主动基准测试生成器

BenchPress 是第一个可以在源代码的特征空间表征内进行控制的编译器 ML 基准生成器，通过在任何空白或现有序列的任何部分添加新代码来综合编译函数，从而与（a）CLgen，（b） CLSmith fuzzer，（c）SRCIROR mutator 甚至（d）GitHub 上的人工编写代码相比，在 3 种不同的特征空间中更好地定位 Rodinia 基准测试的功能。（由于）使用主动学习在特征空间搜索，BenchPress 是第一个生成用于改进下游任务的基准测试的生成器。

Aug, 2022

GNNBENCH: 公平高效的单 GPU 图神经网络系统基准测试

通过 GNNBench 基准平台，我们提出了一种新的协议来交换捕获的张量数据，支持系统 API 中的自定义类，并允许将同一系统模块自动集成到诸多深度学习框架中，如 PyTorch 和 TensorFlow，这帮助我们发现了几个需要关注的测量问题。

Apr, 2024

EmBench：量化现代通用设备上深度神经网络的性能变化

该研究使用各种普通设备系统地评估了一系列最先进的 DNN，识别了每种架构的潜在瓶颈，并提供了可以帮助社区协同设计更高效的 DNN 和加速器的重要指导方针。

May, 2019

Design-Bench: 基于数据驱动的离线模型优化基准测试

Design-Bench presents a benchmark for offline model-based optimization (MBO) with high-capacity deep neural networks using diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics.

Feb, 2022

使用单个 GPU 进行大规模语言模型的高吞吐量生成推断

本文旨在研究如何利用有限的 GPU 资源进行高吞吐量的大语言模型推理，通过提出一种高吞吐量生成引擎 FlexGen，结合线性规划优化器并压缩权重和注意力缓存，成功实现在仅一个 16GB GPU 上运行 OPT-175B，并取得了较高的推理吞吐量。

Mar, 2023

深度神经网络训练的基准测试和分析

通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

Mar, 2018