Oct, 2022

Hidet: 深度学习张量程序的任务映射编程范式

PDF
TL;DR提出一种称为 “任务映射编程范式” 的新方法，用于嵌入调度过程并使用专用映射来定义计算分配和排序，从而在深度学习编译器 Hidet 中实现了更丰富的表达能力和自动化的优化，优于 ONNX Runtime 和 TVM 等其他工具
deep learningcompilerstensor programstask mappingsinference optimization
发现论文，激发创造
  • 使用 Halide 调度语言分析 DNN 加速器

    通过利用 Halide 的调度语言创建修改编译器以生成硬件，此研究研究了 DNN 加速器和它们的程序映射，并对现有的 DNN 加速器进行了形式上的分类，通过优化硬件资源分配，在保持吞吐量不变的情况下，可以取得 1.6~4.2 倍的能效提升。

    Sep, 2018

  • TVM：深度学习自动化端到端优化编译器

    TVM 是一个深度学习编译器，可将深度学习工作负载在各种硬件后端上具有良好的性能移植性，通过学习基于成本模型的方法，自动进行低级程序的硬件特征优化，实验结果表明，TVM 在处理低功率 CPU、移动 GPU 和服务器级 GPU 的竞争性能与手工调优库类似，并能定位到新的加速器后端，如基于 FPGA 的深度学习通用加速器。

    Feb, 2018

  • TAP: 通过张量自动并行化加速大规模深度神经网络训练

    本文提出了一种模型并行框架 TAP，利用神经网络作为有向无环图的性质，设计了一种图剪枝算法以高效地搜索最佳的数据和张量并行计划，实验表明 TAP 比现有自动并行化框架快 20-160 倍，并且其发现的并行化计划比专家设计的计划具有竞争力。

    Feb, 2023

  • DiviML: 模块化启发式算法用于神经网络在异构平台上的映射

    数据中心中的异构深度神经网络调度器利用混合整数线性规划和基于模块化的启发式方法，通过自动分区和设备映射，优化了深度神经网络的计算性能并显著提高了解决方案的质量，可用于调度大型语言模型跨多个异构服务器。

    Jul, 2023

  • 跨异质特征的转移学习用于高效张量程序生成

    本文追求解决自动优化张量程序生成的挑战，特别是在异构目标硬件的情况下，我们采用学习联合的神经网络和硬件特征以及基于注意力的方法来剪枝现有数据集，并将其应用于张量程序的调整中。我们的方法可以在不影响配对比较准确性 (PCA) 的情况下，将数据集缩减高达 45％的基线。此外，与不同网络和目标硬件的基线调整时间相比，所提出的方法可以实现与基线相当或更好的平均推断时间，且时间只需要基线调整时间的 25％-40％。

    Apr, 2023

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • H2H：异构模型到异构系统的计算与通信感知映射

    提出了一种依据计算和通信同时进行考虑的异构模型到异构系统映射算法，通过在稍稍减少计算来交换更好的通信，可以大幅度降低系统整体延迟和能耗。MAESTRO 建模表明，相比于现有的以计算为优先的映射算法，我们的算法可以实现 15% 至 74% 的延迟降低和 23% 至 64% 的能耗降低。

    Apr, 2022

  • TensorIR：自动张量程序优化的抽象

    该论文介绍了 TensorIR 编译器抽象，用于优化具有张量计算原语的程序，通过 TensorIR 编译可以自动化优化深度学习模型，实验结果表明 TensorIR 编译使用特定的硬件后端的张量计算原语，并在各平台上提供了与手动优化系统相当的性能竞争力。

    Jul, 2022

  • 学习优化张量程序

    该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。

    May, 2018

  • Tessel：通过灵活的调度搜索提升大型 DNN 模型的分布式执行

    Tessel 是一个自动化系统，通过搜索高效的分布式深度神经网络训练和推理的调度，为不同的运算符放置策略实现了性能优化，从而显著提高了训练和推理的性能。

    Nov, 2023