Oct, 2023

基于机器学习和分析模型的 GPU 嵌入式系统性能调优方法

PDF
TL;DR本论文研究了 GPU 嵌入式系统上的调优方法，并比较了基于分析模型和基于机器学习的调优方法的性能，在 NVIDIA Jetson 系统上评估了 BPLG 库的不同并行前缀实现的性能，并与穷举搜索的性能进行了比较，为解决服务器和嵌入式设备间主要计算模式的性能可移植性提供了实用指导。
gpu-embedded systemstuning methodologiesperformance insightsparallel prefix operationsperformance portability
发现论文，激发创造
  • 多 GPU 平台机器学习训练的通用性能建模

    通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如快速选择最快的嵌入表分片配置。

    Apr, 2024

  • GPGPU 上局部内存使用的自动调优

    本研究利用机器学习模型，在数百万个合成基准测试以及真实基准测试中，高精度地预测和决定是否应该使用本地存储器以优化单个数组的性能。

    Dec, 2014

  • 在 NVIDIA Jetson Nano 上为实时系统进行深度学习模型基准测试：一项实证研究

    研究了在低计算能力和低内存设备上部署复杂的深度学习模型的优化方法以提高推断速度，证明了硬件特定的模型优化能够有效降低能源消耗和碳足迹。

    Jun, 2024

  • 使用多模态建模和异构 GNN 进行性能优化

    本文提出了一种用于调整并行代码区域的技术，该技术通过使用多模态深度学习方法，将异构图神经网络和去噪自编码器用于建模基于中间表示的代码表示，从而在优化线程数量、调度策略、块大小等方面表现出良好的效果。

    Apr, 2023

  • 基于机器学习的索引调优：最近进展与开放挑战概述

    在自动索引调优中，机器学习技术为缓解相关挑战提供了新的机会，涉及工作负载选择、候选索引筛选、加速索引配置搜索、减少查询优化器调用和降低性能回归可能性等方面。此外，我们还提出了一个跨平台设计，旨在在多个 SQL-like 系统中实现索引调优的民主化。

    Aug, 2023

  • GPU 上的分布式深度学习框架性能建模与评估

    本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，GoogleNet 和 ResNet-50），分析了引起这四个框架性能差异的因素，并提出进一步优化方向。通过分析和实验研究，发现了可以进一步优化的瓶颈和开销，为算法设计和系统配置提供了改进方向。

    Nov, 2017

  • 多任务大模型设备调优

    本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。

    Feb, 2023

  • MLPerf 推理基准测试

    这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

    Nov, 2019

  • 使用深度序列模型预测最佳核调参

    使用深度序列到序列模型预测 GPU 计算内核的最佳调优参数，能够准确学习 GPU 计算内核的性能动态，减少开发时间和计算资源。

    Apr, 2024

  • 研究面向 eFPGA 的资源高效中子 /γ 射线分类机器学习模型

    实施机器学习模型于硬件上已取得了相当大的兴趣和进展，而该研究探索了电子可变程序逻辑阵列（eFPGA）在完全连接神经网络（fcNN）和增强决策树（BDT）模型实现方面的参数空间以及资源效率的权衡，以帮助制定一个作为测试芯片的一部分的 eFPGA 结构的规范。

    Apr, 2024