May, 2024

张量程序的多级超优化器

PDF
TL;DRMirage 是首个多级超优化程序，通过引入一种称为 μGraphs 的统一表示方法，在 GPU 计算层次结构的内核、线程块和线程级别上对张量程序进行优化，包括代数转换、调度转换和生成新的自定义内核的新颖优化技术。通过抽象的剪枝技术和概率等价性验证过程，Mirage 在大大减少搜索空间的同时，确保优化的 μGraph 与输入程序等价，相比广泛使用且经过大量优化的 DNN，Mirage 的性能提升最高可达 3.5 倍。
miragemulti-level superoptimizertensor programsoptimization techniquesabstraction
发现论文，激发创造
  • Miriam：在边缘 GPU 上利用弹性核心进行实时多 DNN 推理

    提出了 Miriam，一种用于多个边缘 GPU 上的深度神经网络任务协调的计划，通过弹性内核生成器和运行时动态内核协调器，可以实现混合关键性 DNN 推理，并且在关键任务上只产生不到 10％的延迟开销，相比现有技术基准，系统吞吐量可提高 92％。

    Jul, 2023

  • TensorIR：自动张量程序优化的抽象

    该论文介绍了 TensorIR 编译器抽象，用于优化具有张量计算原语的程序，通过 TensorIR 编译可以自动化优化深度学习模型，实验结果表明 TensorIR 编译使用特定的硬件后端的张量计算原语，并在各平台上提供了与手动优化系统相当的性能竞争力。

    Jul, 2022

  • 使用图神经网络模拟张量程序的执行时间

    本研究提出了一种基于抽象语法树的图形卷积网络的代理模型，以优化张量程序（如卷积）的执行时间。我们通过一个新的数据集来验证其有效性，并为运行时间预测任务提供了基线。

    Apr, 2019

  • TPU-MLIR：使用 MLIR 的 TPU 编译器

    本篇研究利用多层中间表示（MLIR）提供可重用和可扩展的编译器基础，并提出 TPU-MLIR，通过两个新的方言（Tensor 操作和 TPU 内核）将神经网络模型部署到自定义 ASIC，使用 MLIR 传递管道在 TPU 上进行优化以生成机器代码。

    Oct, 2022

  • 面向大规模数据的张量逻辑编程语言

    提出了一种基于张量嵌入的新逻辑编程语言 T-PRISM，并介绍了其逻辑编程部分和数值计算部分。该编程语言能够从符号推理到深度学习提供非常广泛的高级声明建模，同时结合了张量嵌入和逻辑编程的最小模型语义。该论文还在使用 FB15k 和 WN18 数据集的知识图上推出了 DistMult 模型。

    Jan, 2019

  • 学习优化张量程序

    该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。

    May, 2018

  • 迈向具备上游 MLIR 的高性能 AI 编译器

    该研究提出了一种使用开源编译器的编译流程，构建一个框架，实现从通用的线性代数高级抽象中获得忍者级性能。通过用 TensorFlow 和 PyTorch 中的 Linalg-on-Tensor 中的输入 IR，执行缓存级优化和降低到微内核以实现高效矢量化，实现了超过 90% 与忍者编写等效程序性能的概念证明 MLIR 项目。该研究的贡献包括：（1）在张量方言上对基元进行打包以及用于缓存感知张量（单核和多核）的传播以及类型感知指令（VNNI、BFDOT、BFMMLA）的传播，包括在整个函数中进行形状传播；（2）线性代数流水线，包括切片、融合和缓冲策略，将模型级 IR 转化为硬件友好的切片调用；（3）将微内核降级到支持各种 CPU 的开源库的机制。

    Apr, 2024

  • ParaGraph: HPC 内核性能优化的加权图表示

    本文介绍了一种基于图形的程序表示方法，用于预测在 CPU 和 GPU 上运行 OpenMP 代码区域的运行时间，并在构建数据集时使用折叠和数据传输等各种变换。该方法利用边权重和新边缘扩展 AST 来捕捉并行性，结果表明该方法具有很好的性能。

    Apr, 2023

  • ProGraML: 基于图的深度学习用于程序优化和分析

    ProGraML 是一种使用低级别、语言无关和可移植格式的新颖基于图的程序表示，其中包含能够对整个程序或每个顶点执行分类任务的机器学习模型，其提供了一种通用的程序表示，使可学习的模型能够执行优化所必需的程序分析类型，并在传统编译器分析任务、异构设备映射和程序分类等高级任务方面取得了具有以下优势的最新性能：94.0 F1 评分

    Mar, 2020

  • Mesa：用于 Transformer 的节省内存的训练框架

    Mesa 是一种针对 Transformers 网络进行训练的内存优化框架，采用精确激活函数和低精度激活函数相结合的方式进行训练，结合头部激活函数的统计学信息对激活函数进行量化，通过对估计运行量的量化进行参数学习以提高训练效率，可在保证计算资源有限的情况下达到优异的性能表现。

    Nov, 2021