Dec, 2023

加速器驱动的数据排列在多核架构上最小化变压器运行时间

PDF
TL;DR提出了一种新颖的内存数据排列策略，通过硬件加速器的内核大小来有效减小芯片外数据访问，特别对于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理尤为有益。本研究通过在单核和多核系统中实现和评估提出的加速器驱动的数据排列方法，证明了该方法能够实现高达 2.8 倍的速度提升。
transformer modelshardware accelerationmemory bandwidthmemory data arrangementaccelerator-driven approach
发现论文，激发创造
  • 大内存系统上的记忆化加速 Transformer

    本研究介绍一种基于缓存优化技术的变压器模型加速方案，通过建立基于大内存系统的注意力数据库来加速注意力计算，从而实现了平均 21％的性能提升（最高 68％），并且在推理准确性上有可忽略的损失。

    Jan, 2023

  • 数据移动即所需：优化 Transformer 的案例研究

    该研究提出了一种全局优化 transformers 数据传输的方法，通过减少数据传输的步骤，实现了对 BERT 编码器层的训练性能提升 1.30 倍以及整个 BERT 的训练性能提升 1.19 倍。此方法可更广泛地应用于优化深度神经网络，提供了解决性能瓶颈问题的见解。

    Jun, 2020

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

    May, 2022

  • 一种可配置和高效的神经网络硬件加速器内存层次结构

    我们提出了一个可配置的内存层次结构框架，旨在为深度神经网络 (DNNs) 的自适应内存访问模式提供数据，并在最小化所需内存容量的同时维持高加速器性能方面达到优化平衡。

    Apr, 2024

  • 记忆即一切：加速大型语言模型推理的计算于内存架构综述

    大型语言模型的推出带来了自然语言处理领域的重大变革，本文调查了与转换器模型有关的各种 CIM 构架以及它们如何解决现代人工智能计算系统面临的挑战。

    Jun, 2024

  • 超越缩放定律：理解具有关联记忆的 Transformer 性能

    增加 Transformer 模型的大小并不总是导致性能提升，用经验缩放定律无法解释此现象。此外，模型记忆训练样本会改善泛化能力。我们提出了一个理论框架，揭示了基于 Transformer 的语言模型的记忆过程和性能动态。我们使用关联记忆的 Hopfield 网络来模拟 Transformer 的行为，使每个 Transformer 模块能够有效进行近似最近邻搜索。基于此，我们设计了一个能量函数，类似于现代连续 Hopfield 网络中的函数，对注意力机制提供了有见地的解释。利用最大化 - 最小化技术，我们构建了一个全局能量函数，捕捉了 Transformer 的层次结构。在特定条件下，我们证明了最小可达的交叉熵损失下界约为 1。通过对不同数据规模运行 GPT-2 实验证实了我们的理论结果，以及在一个包含 2M 令牌的数据集上训练 vanilla Transformers。

    May, 2024

  • Transformer 推理的全栈优化：一项调查

    本文调查了提高 Transformer 模型推理效率的不同方法，包括分析现有模型架构的瓶颈和硬件设计的影响，调度操作的挑战，以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后，作者将这些方法应用于一个开源的全栈 DNN 加速器生成器中，并表明这些方法都可以对提高模型推理速度产生影响，其中最优的全栈设计方法可以将速度提高多达 88.7 倍，同时性能基本不受损害

    Feb, 2023

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

    通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。

    Nov, 2023

  • 与硬件协同设计模型架构的案例

    通过仔细考虑 GPU 上执行的基础计算核心的各种模型超参数对模型形状效率的影响，我们提供了一套指南，以最大化用户的 Transformer 模型的运行时性能。通过优化模型形状，与具有类似参数但形状未经优化的模型相比，高效模型形状的吞吐量提高了多达 39％，同时保持准确性。

    Jan, 2024