Nov, 2023

CDMPP：一种适用于张量程序的设备模型无关框架的延迟预测

PDF
TL;DR我们提出了 CDMPP：一种用于跨模型和跨设备预测的高效张量程序延迟预测框架，它通过紧凑的 AST 表示和基于预排序的位置编码方法来捕获张量程序的内部结构，通过领域适应启发式方法学习领域不变表示，并设计了基于 KMeans 的采样算法来支持不同领域的学习，实验证明 CDMPP 相较于现有方法具有更高的预测准确率，并且训练效率提高一个数量级。
deep neural networkslatency predictiontensor programscdmppperformance modeling
发现论文，激发创造
  • 使用图神经网络的深度学习推断性能预测模型 DIPPM

    本文介绍了一种基于深度学习推理性能预测模型的方法，该模型可以预测在 NVIDIA A100 GPU 上给定输入的深度学习模型的推理延迟、能量和内存使用情况，并建议适当的 GPU 配置方案，同时帮助进行模型推理性能的快速设计空间探索。

    Mar, 2023

  • 面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架

    深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。

    Dec, 2023

  • MAPLE-X: 显式微处理器先验知识下的延迟预测

    本篇论文提出了一种基于 MAPLE-X 的 DNN 延迟估计技术，它将显式先验知识与硬件设备和 DNN 架构延迟结合，以更好地考虑模型稳定性和鲁棒性，并在嵌入式视觉应用程序的 Intel 处理器等不同类型的设备上获得 5％的 MAPLE 改进和 9％的 HELP 改进。

    May, 2022

  • Hidet: 深度学习张量程序的任务映射编程范式

    提出一种称为 “任务映射编程范式” 的新方法，用于嵌入调度过程并使用专用映射来定义计算分配和排序，从而在深度学习编译器 Hidet 中实现了更丰富的表达能力和自动化的优化，优于 ONNX Runtime 和 TVM 等其他工具

    Oct, 2022

  • 关于神经架构搜索的延迟预测器

    通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

    Mar, 2024

  • MAPLE-Edge：用于边缘设备的运行时延迟预测器

    本论文提出了 MAPLE-Edge，一个边缘设备定向的 MAPLE 扩展版本，它通过使用硬件 - 运行时描述符，训练架构 - 延迟回归网络来实现对边缘设备的延迟预测，与 MAPLE 相比，MAPLE-Edge 可以使用更少的 CPU 性能计数器来描述运行时和目标设备平台。同时，MAPLE-Edge 表现出比现有方法更高的延迟预测精度，并且可以很好地推广到跨运行时的设备。此外，作者还证明了通过从目标设备收集额外的样本，可以提高算法的性能。

    Apr, 2022

  • DAPPLE：一个用于训练大模型的流水线数据并行方法

    提出了一种称为 DAPPLE 的同步训练框架，它将数据并行和管道并行相结合，采用新颖的并行化策略规划器解决了分区和放置问题，并探索了数据和管道并行的最佳混合策略。与 GPipe 相比，DAPPLE 运行时间提高了 1.6 倍的训练吞吐量，并将内存消耗降低了 12%。

    Jul, 2020

  • 多 GPU 平台机器学习训练的通用性能建模

    通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如快速选择最快的嵌入表分片配置。

    Apr, 2024

  • AccEPT：边缘管道并行训练加速方案

    本文提出了 AccEPT，一种用于加速边缘协同流水线 - 并行训练的加速方案，其中包括轻量级自适应延迟预测器以准确估计不同设备上每一层的计算延迟，并通过连续学习适应未见过的设备，以实现更好的模型划分来平衡参与设备上的计算负载。此外，我们还提出了一种位级计算高效的数据压缩方案，以在训练过程中压缩需要在设备间传输的数据。我们的数值结果表明，在考虑的实验设置中，我们提出的加速方法能够使边缘流水线并行训练的速度显著提高，最高可达到原来的 3 倍速度。

    Nov, 2023

  • 深度神经网络模型预测控制框架介绍及快速控制器实现

    基于深度神经网络的非线性模型预测控制（MPC）在同质压燃点火（HCCI）燃烧控制方面的实验实施结果良好，具有优秀的 IMEP 轨迹跟踪性能和过程约束的观测情况。

    Oct, 2023