Jun, 2023

KAPLA：可扩展神经网络加速器数据流的实用表示和快速求解

PDF
TL;DR本文提出了面向可扩展多节点神经网络体系结构上的时间和空间调度的综合性和实用性数据流表示，利用一组形式化的张量中心指令，构建出一个通用、优化和快速的数据流求解器 KAPLA，它在训练和推理中实现了 2.2% 和 7.7% 的能耗开销，并且在效果和速度上胜过了随机和基于机器学习的方法。
neural network acceleratorsdataflow schedulingscalable multi-node nn architecturestensor-centric directivesdataflow solver
发现论文，激发创造
  • TAP: 通过张量自动并行化加速大规模深度神经网络训练

    本文提出了一种模型并行框架 TAP，利用神经网络作为有向无环图的性质，设计了一种图剪枝算法以高效地搜索最佳的数据和张量并行计划，实验表明 TAP 比现有自动并行化框架快 20-160 倍，并且其发现的并行化计划比专家设计的计划具有竞争力。

    Feb, 2023

  • 利用 MAESTRO 的数据中心方法理解 DNN 数据流的重用性、性能和硬件成本

    本文提出了一种基于数据指令的指导方式，可以较为简洁地指定深度神经网络（DNN）加速器的数据流。制定一个优化的数据流对于发挥硬件设备的利用率和能量效率至关重要，但是对于数据流的选择和后果还存在理解不足的情况。基于 MAESTRO 成本模型，本文对所提方案进行了验证，并在硬件设计空间中进行了搜索。

    May, 2018

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • Procrustes：用于稀疏深度神经网络训练的数据流和加速器

    本文研究了适用于稀疏权重和激活张量的能源高效型深度神经网络 (DNN) 修剪算法，并提出了一种稀疏 DNN 训练加速器，可以在不牺牲精度的情况下消耗更少的能源和获得更快的速度。该研究表明，加速稀疏训练需要一种协同设计方法，其中算法被适应到硬件的限制，并且与推断加速器不同，稀疏 DNN 训练硬件必须应对不同的限制。

    Sep, 2020

  • 为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

    通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。

    Nov, 2023

  • 基于算法、架构和数据流共同设计的高效稀疏 DNN 训练

    提出了一个计算高效的 N:M 稀疏深度神经网络（DNN）训练方案，包括算法、架构和数据流共同设计，并利用双向权重修剪方法和稀疏加速器实现了高效的 N:M 稀疏 DNN 训练，在几种 DNN 模型和数据集上的实验结果表明，在 2:8 稀疏比率下，该方案相对于密集训练可实现平均 1.75 倍的加速，准确度损失平均仅为 0.56%，在 FPGA 加速器上训练吞吐量提高了 2.97~25.22 倍，能效提高了 1.36~3.58 倍。

    Sep, 2023

  • 在数据中心加速器上寻找快速模型族

    本文提出了一个基于数据中心加速器优化的神经网络架构搜索空间，并探讨了新型的复合比例尺度方法，提出了一种称为 EfficientNet-X 的新型模型系列，该模型在 TPUv3 和 GPUv100 上比现有的 RegNet 和 ResNeSt 速度均快至少 2 倍，同时具有可与其相媲美的准确性。

    Feb, 2021

  • 使用 Halide 调度语言分析 DNN 加速器

    通过利用 Halide 的调度语言创建修改编译器以生成硬件，此研究研究了 DNN 加速器和它们的程序映射，并对现有的 DNN 加速器进行了形式上的分类，通过优化硬件资源分配，在保持吞吐量不变的情况下，可以取得 1.6~4.2 倍的能效提升。

    Sep, 2018

  • GDP: 数据流图的通用设备放置

    本文提出了一种端到端的基于图神经网络的可扩展顺序关注机制，并使用超前网络在每个独立图上进行微调，达到了优于人类专家和先前技术的 16% 平均改善和 15 倍更快的收敛速度，从而实现了有关大型神经网络和设备放置的计算成本和效率的突破。

    Sep, 2019

  • 卷积神经网络的加速器感知剪枝

    在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于 AlexNet，VGG16，ResNet，MobileNet 等多种网络模型。

    Apr, 2018