MMMay, 2024

RISC-V 系统机器学习推理工作负载的全栈评估

PDF
TL;DR通过使用基于多级中间表示（MLIR）的开源编译工具链，该研究在 gem5 这个开源架构模拟器上评估了 RISC-V 架构上各种机器学习工作负载的性能，并揭示了 gem5 在模拟 RISC-V 架构时的当前限制，为未来的开发和改进提供了见解。
architectural simulatorsrisc-v researchmachine learning workloadsgem5deep learning inference
发现论文，激发创造
  • MLPerf 推理基准测试

    这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

    Nov, 2019

  • 通过机器学习加速计算机架构模拟

    该论文提出了一种通过利用机器学习技术加速计算机体系结构模拟的方法，该方法利用应用特征和微架构特征的组合来预测应用程序的性能，通过构建和评估一个机器学习模型展示了在体系结构探索方面的显著加速能力。

    Feb, 2024

  • 在一个开源的 RISC-V 多微核平台上优化基础模型推理

    通过实现分布式 Softmax 原语并利用 ISA 扩展进行 SIMD 浮点操作数流和指令重复，以及专门的 DMA 引擎来最小化昂贵的主内存访问和容忍其延迟，在开源的 RISC-V 平台上呈现了第一批全流程的 Transformer 模型推理结果。对于仅编码器模型，我们展示了最优实现与基线版本之间高达 12.8 倍的加速比；同时在 HW 平台上实现可比较的计算单位吞吐量，FPU 利用率超过 79％和 294 GFLOPS/W，并比 SoA 加速器实现 2 倍以上的性能。对于仅解码器模型，与基线实现相比，在非自回归（NAR）模式下实现 16.1 倍的加速，而在自回归（AR）模式下实现高达 35.6 倍的加速。与最佳 SoA 专用加速器相比，我们实现了高 2.04 倍的 FPU 利用率。

    May, 2024

  • OpenCV 算法在 RISC-V CPU 上的矢量化改进

    本研究讨论了在现有的 RISC-V 处理器上通过改进 OpenCV 库中几个计算机视觉和机器学习算法的向量化来加速计算的可能性，并证明改进的向量化可以将 RISC-V 设备的计算速度提高百分之几十。

    Sep, 2023

  • MLIR 的机器学习驱动硬件成本模型

    我们开发了一种基于机器学习的成本模型，针对高级 MLIR 的不同目标变量进行预测，以更准确地指导我们的深度学习编译器在运算符融合、本地内存分配、内核调度等领域进行图级优化，以及在循环互换、LICM 和展开等内核级优化中使用。

    Feb, 2023

  • 利用机器学习解决物理系统模拟中的计算难题

    本研究提出了一个基于机器学习的数据生成框架，旨在辅助那些利用模拟来研究各种物理系统或过程的研究人员。我们的方法包括两个步骤：首先，我们使用有限的模拟数据训练监督预测模型来预测模拟结果；然后，我们使用强化学习代理来生成准确的、类似于模拟的数据，从而更有效地探索参数空间并深入了解物理系统或过程。我们通过两个案例研究：一个关注地震破裂物理，另一个关注新材料开发，证明了所提出框架的有效性。

    May, 2023

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • RL-Scope：用于深度强化学习工作负载的跨栈性能分析

    通过 RL-Scope 工具，我们发现深度强化学习训练中存在基本结构上的差异，相对于监督学习而言，其不易受到限制于 GPU；我们还观察到不同 ML 后端之间的运行时差异；同时，我们关注了 RL 算法和模拟器的性能比较，表明 on-policy 算法至少比 off-policy 算法具有 $3.5 imes$ 更多的模拟绑定。

    Feb, 2021

  • 多 GPU 平台机器学习训练的通用性能建模

    通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如快速选择最快的嵌入表分片配置。

    Apr, 2024

  • 机器学习训练在实际处理内存系统上的实验评估

    研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

    Jul, 2022