Feb, 2018

TVM：深度学习自动化端到端优化编译器

PDF
TL;DRTVM 是一个深度学习编译器，可将深度学习工作负载在各种硬件后端上具有良好的性能移植性，通过学习基于成本模型的方法，自动进行低级程序的硬件特征优化，实验结果表明，TVM 在处理低功率 CPU、移动 GPU 和服务器级 GPU 的竞争性能与手工调优库类似，并能定位到新的加速器后端，如基于 FPGA 的深度学习通用加速器。
machine learningtvmoptimizationhardwaredeep learning
发现论文，激发创造
  • 基于贝叶斯优化的自动调整 Apache TVM 科学应用

    本论文通过使用贝叶斯优化提出了一种新的 TVM 自动调优框架，并利用 TVM 张量表达语言实现了 LU、Cholesky 和 3mm 等线性代数核，通过在 Argonne 国家实验室的一个 GPU 集群 Swing 上评估这些方法的有效性，将所提出的自动调优框架与四个调优器的 TVM 自动调优框架 AutoTVM 进行了比较，并发现在大多数情况下我们的框架优于 AutoTVM。

    Sep, 2023

  • 学习优化张量程序

    该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。

    May, 2018

  • 使用 MicroTVM 在边缘上将机器学习模型部署到 AOT 运行时

    本文提出了一种将经过预训练的模型解析为 C 源代码并利用 MicroTVM 在边缘设备上执行的代码生成器。利用普适模块加速器接口（UMA），将特定的计算密集型操作轻松卸载到专用加速器上，而其他操作则在 CPU 核心上进行。 最后，作者使用 ARM Cortex M4F 核心进行了手势识别实验。

    Apr, 2023

  • TVM 中的量化分析

    通过分析性能问题并解决图构建中的错误，我们成功改进了量化，并分析多种优化策略，实现了与 TVM 编译基准相比分别达到计算密集任务 163.88% 和内存密集任务 194.98% 的推理时间改进。

    Aug, 2023

  • DNNVM: FPGA-based CNN 加速器上利用异构优化的端到端编译器

    本文提出了用于深度学习框架的全栈编译器 DNNVM，通过优化图表现形式、循环和数据布局、关键算法和支持验证等，将复杂的 CNN 模型转换成有向无环图（XGraph）并利用启发式子图同构算法枚举所有潜在的融合机会，并在全计算图中搜索执行策略的最佳选择， 在 Xilinx ZU9 @330 MHz 等设备上实现了与最新算法同等状态的性能，最终在 VGG 和 ResNet50 上达到了最先进的性能。

    Feb, 2019

  • Hidet: 深度学习张量程序的任务映射编程范式

    提出一种称为 “任务映射编程范式” 的新方法，用于嵌入调度过程并使用专用映射来定义计算分配和排序，从而在深度学习编译器 Hidet 中实现了更丰富的表达能力和自动化的优化，优于 ONNX Runtime 和 TVM 等其他工具

    Oct, 2022

  • LoopTune: 使用强化学习优化张量计算

    我们开发了一种深度强化学习编译器 LoopTune，用于优化深度学习模型中的张量计算，以在 CPU 上实现超快速度的代码生成和硬件特定优化。

    Sep, 2023

  • 一系列矩阵乘法例程的自动生成器与 Apache TVM

    利用 Apache TVM 开源框架自动生成算法族，以获得高性能的矩阵乘法算法，并自动化生成特定处理器的微内核，提高可移植性、可维护性并简化软件生命周期，同时实现高灵活性并优化解决方案以满足不同数据类型、处理器架构和矩阵形状需求，具有较小的内存占用，性能可以与手动优化的库相媲美（对于特定的矩阵形状甚至更好）。

    Oct, 2023

  • TensorIR：自动张量程序优化的抽象

    该论文介绍了 TensorIR 编译器抽象，用于优化具有张量计算原语的程序，通过 TensorIR 编译可以自动化优化深度学习模型，实验结果表明 TensorIR 编译使用特定的硬件后端的张量计算原语，并在各平台上提供了与手动优化系统相当的性能竞争力。

    Jul, 2022

  • 深度学习编译器：综述

    本研究综合调查了现有的 DL 编译器，重点关注了 DL 导向的多层 IR 设计和前端 / 后端优化，提供了各方面的全面比较，并且阐述了常见的优化技术以及潜在的研究方向。

    Feb, 2020