Oct, 2023

学习独立的程序和架构表示以实现可推广的性能建模

HTML
PDF
TL;DR这篇论文提出了PerfVec，一种基于深度学习的性能建模框架，它学习高维、独立/正交的程序和微架构表示。学习完成后，程序表示可以用于预测其在任何微架构上的性能，微架构表示也可用于预测任何程序的性能。此外，PerfVec还提供了一个基础模型，能够捕捉指令性能的本质，并可以直接供开发者在许多性能建模任务中使用，而无需其训练成本。实证评估证明，PerfVec比先前的方法更具一般性、高效性和准确性。
发现论文，激发创造
  • 为定制硬件加速器编译深度学习模型

    本研究旨在提出一种编译器，通过 Torch7 模型描述文件生成机器级指令，并实现了一种与卷积神经网络相关的定制硬件加速器 Snowflake，优化了模型结构解析、CNN 负载分解、内存带宽优化和平衡内存访问等方面，以达到生成的指令的性能与手动优化代码相当，并有效地执行 AlexNet 和 ResNet18 推理任务。

    Aug, 2017

  • MLPerf 推理基准测试

    这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

    Nov, 2019

  • PERFOGRAPH：适用于性能优化和程序分析的数值感知程序图表示

    本研究提出了一种名为PERFOGRAPH的基于图形的程序表示方法，通过引入新的节点和边来捕获数值信息和组合数据结构，进一步提出了一种改进的嵌入方法来合并数值意识，使其成为一个高度灵活和可扩展的表示方法，以有效地捕获程序的细节依赖关系和语义信息，从而可以作为程序分析、性能优化和并行性发现等各种应用领域的强有力工具，并通过多种实验验证，证明了它在错误率和性能优化等方面的优越性。

    May, 2023

  • 朝向持续学习的应用性能模型

    基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了2倍。

    Oct, 2023

  • PANDA: 统一分析与机器学习解决方案的架构级功耗评估

    通过将解析地模型和机器学习方法相结合，PANDA 提供了一种既精确又有效的架构级电源模型，能够在设计有限的情况下准确预测未知的新设计，并支持对未知新技术节点的功率预测，同时可以识别给定功率约束下的高性能设计配置。

    Dec, 2023

  • 通过机器学习加速计算机架构模拟

    该论文提出了一种通过利用机器学习技术加速计算机体系结构模拟的方法，该方法利用应用特征和微架构特征的组合来预测应用程序的性能，通过构建和评估一个机器学习模型展示了在体系结构探索方面的显著加速能力。

    Feb, 2024

  • 深度配置性能学习：系统调查与分类

    本文综述了深度学习在可配置软件性能学习方面的研究，包括配置数据的准备、深度配置性能学习模型的构建、模型的评估以及与软件配置相关的不同任务中的应用。同时，文章还总结了在调查中发现的良好实践和可能存在的问题，以及对该领域未来机会的见解。

    Mar, 2024

  • 重新思考基于深度学习的微结构仿真

    本文介绍了TAO，它通过重新设计基于深度学习的模拟方法，提出了一种新的训练数据集设计，使用自注意力机制重新设计输入特征和DL模型以预测各种性能指标，并提出了训练一个微架构不可知嵌入层的技术，可以在不同的微架构配置之间进行快速迁移学习，并减少传统DL模拟器的重新训练开销。经过广泛的评估，我们的方法相比于现有的DL模拟器能够减少总体的训练和模拟时间18.06倍。

    Apr, 2024

  • 聪明的基准测试AI加速器——以性能代表为基准

    通过利用目标硬件架构和初始参数扫描，我们提出了一种新的性能建模方法，显着减少了训练样本的数量，同时保持较高的准确性。我们的方法针对单层估计达到0.02%的平均绝对百分比误差（MAPE），针对整个深度神经网络的估计达到0.68%的MAPE，仅需不到10000个训练样本，相比于随机抽样的模型，实验结果证明了我们方法在单层估计中的优越性。

    Jun, 2024

  • 推进边界：专注于深度配置性能学习

    通过系统文献综述和实证研究，本论文提出了深度学习技术在配置性能建模方面的知识缺口，并通过比较编码方案、提出稀疏性鲁棒框架DaL和顺序元学习框架SeMPL，显著提高了性能预测的准确性。

    Jul, 2024