Dec, 2023

DMC4ML: 机器学习的数据移动复杂性

PDF
TL;DR该论文通过分析 transformers、spatial convolution 和 FFT 三种机器学习算法，提出了三个创新点。首先，它使用抽象的内存层次结构来衡量内存访问成本，而不是传统的时间或空间复杂度。其次，该分析是渐近的，并确定了内存成本的主要来源。最后，该结果是符号的，可以用于选择算法参数，例如分组查询关注力的组大小，以及任意尺寸和头数的批量卷积的批量大小。
发现论文，激发创造
  • 机器学习训练在实际处理内存系统上的实验评估

    研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

    Jul, 2022

  • 数据移动即所需：优化 Transformer 的案例研究

    该研究提出了一种全局优化 transformers 数据传输的方法，通过减少数据传输的步骤，实现了对 BERT 编码器层的训练性能提升 1.30 倍以及整个 BERT 的训练性能提升 1.19 倍。此方法可更广泛地应用于优化深度神经网络，提供了解决性能瓶颈问题的见解。

    Jun, 2020

  • 基于低内存 GEMM 的深度神经网络卷积算法

    本文提出两种新型基于 GEMM 的算法，分别只需要额外的 O (MHW) 和 O (KW) 的空间，显著降低了 DNN 卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

    Sep, 2017

  • Marvel: 面向空间加速器上的 DNN 运算符的数据中心编译器

    研究提出了用于生成各种 DNN 模型运算符在加速器计算和内存资源上的优化映射的编译器和其成本模型的有效性，使用 Maestro Data-Centric（MDC）记法，提供了 DNN 运算符的形式上的理解，提出了一种将映射转换为 MDC 记法的转换，并提出了一种将搜索空间分解为 off-chip 和 on-chip 子空间的解决方案。

    Feb, 2020

  • 短期记忆卷积

    本文提出了一种名为 Short-Term Memory Convolution（STMC）的卷积神经网络方法，用于音频领域中的实时处理，该方法能够以低延迟比 LSTM 网络更稳定快速地进行训练和推理，实现了语音分离和声场分类的更快速度和更高的准确性。

    Feb, 2023

  • MTrainS：使用异构内存提高 DLRM 训练效率

    通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

    Apr, 2023

  • DNCs 需要更多规划步骤

    研究机器学习模型在解决复杂算法问题时忽视所需计算复杂度对其正确解决问题的影响，讨论了计算时间和内存对隐式算法求解器泛化的影响，通过研究不同可规划步骤数的模型，即规划预算，发现规划预算约束可能导致模型泛化能力差，且降低其对外部内存的充分利用。通过在图的最短路径、凸包、图的最小割和关联召回等方面进行评估，展示了规划预算对学习算法的行为，如学习时间复杂度、训练时间、稳定性以及对大于训练集的输入进行泛化的影响。

    Jun, 2024

  • 人工智能与内存壁

    通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。

    Mar, 2024

  • 利用蝴蝶分解学习线性变换的快速算法

    通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积，我们引入了一种分治方法的参数化形式，可以自动学习很多重要的变换的有效算法，并且在机器学习流水线中可以作为通用矩阵的轻量级替代，以学习高效且可压缩的变换。

    Mar, 2019

  • 加速器驱动的数据排列在多核架构上最小化变压器运行时间

    提出了一种新颖的内存数据排列策略，通过硬件加速器的内核大小来有效减小芯片外数据访问，特别对于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理尤为有益。本研究通过在单核和多核系统中实现和评估提出的加速器驱动的数据排列方法，证明了该方法能够实现高达 2.8 倍的速度提升。

    Dec, 2023