May, 2024

一种针对计算图学习设备放置的结构感知框架

PDF
TL;DR我们提出了一个基于强化学习的新框架，用于任务设备放置，该框架利用从 OpenVINO 工具包中提取的较小的计算图，包括图粗化、节点表示学习和策略优化等五个步骤，并结合了图表示学习和个性化图划分的模型变种，通过使用推荐设备放置的执行时间来制定奖励，多个实验表明该方法具有灵活性和有效性。
device placementcomputation graphsgraph partitioningreinforcement learningbenchmark models
发现论文，激发创造
  • 设备放置优化与强化学习

    本文提出了一种使用序列到序列模型来预测 TensorFlow 计算图中哪些操作应该在哪些可用设备上运行的方法，并以预测的放置方式的执行时间作为奖励信号来优化序列到序列模型参数，结果表明在基于 Inception-V3 的 ImageNet 分类和基于 RNN LSTM 的语言建模和神经机器翻译的任务中，使用该模型能够发现优于手动设置和传统算法方法的设备放置方案。

    Jun, 2017

  • GDP: 数据流图的通用设备放置

    本文提出了一种端到端的基于图神经网络的可扩展顺序关注机制，并使用超前网络在每个独立图上进行微调，达到了优于人类专家和先前技术的 16% 平均改善和 15 倍更快的收敛速度，从而实现了有关大型神经网络和设备放置的计算成本和效率的突破。

    Sep, 2019

  • 为分布式机器学习学习可推广设备部署算法

    本文提出了一个名为 Placeto 的强化学习方法，用于高效地找到分布式神经网络训练的设备位置，并且可以学习通用的设备放置策略，这种策略可以应用于任何计算图，并且实验结果表明，使用 Placeto 可以找到与现有方法找到的最佳放置相当或更优的放置，并且可以在同一族的图中实现无需重新训练来预测优化放置，从而消除了其他强化学习方法带来的大量开销。

    Jun, 2019

  • GiPH: 适应性异构计算的通用布局学习

    GiPH 是一种学习方法，利用图形神经网络和图形表示法表示信息，学习动态设备集群中的好位置，使应用完成时间最短。GiPH 能够找到比其他基于搜索的部署策略更快的位置，完成时间降低了 30.5%。

    May, 2023

  • 设备边缘协同推理系统上的图神经网络自动设计和部署

    GCoDE 是第一个自动化的图神经网络（GNN）框架，它在设备边缘层次结构上创新地共同设计了架构搜索和每个操作的映射，通过性能意识的方法实现了在多样化的异构系统中的架构效率的有效评估，实验结果表明，与现有方法相比，在各种应用和系统配置中，GCoDE 可以实现高达 44.9 倍的加速和 98.2% 的能量节约。

    Apr, 2024

  • DG-RePlAce：数据流驱动的 GPU 加速机器学习加速器分配框架

    本研究提出了一种基于 GPU 加速和 OpenROAD 基础设施的快速全局布局框架 DG-RePlAce，通过利用机器学习加速器的固有数据流和数据路径结构，实现了路由线长度减少 10％（7％）和总负预留时间减少 31％（34％），并且全局布局速度更快，总运行时间与 DREAMPlace 相当。实证研究还表明，对于机器学习加速器，相较于 RePlAce 和 DREAMPlace，在后续路由中的改进效果可能超出原始应用。

    Mar, 2024

  • Moirai：面向异构设备的分布式推理优化放置

    Moirai is a device placement algorithm that leverages runtime inter-operator fusion to render a coarsened computation graph, reducing the search space and improving end-to-end inference performance for Deep Neural Networks.

    Dec, 2023

  • 基于图表示的学习排序芯片排列顺序探索

    提出一种基于学习排序网络的芯片组件布置方法，通过优化放置顺序以降低芯片间互连线长度和系统温度，从而显著改善芯片组件布置过程中的性能。

    Apr, 2024

  • 使用高效的图遍历顺序在设备放置中加速模型并行训练

    本研究探讨了神经网络图遍历顺序对设备部署的影响，特别是在模型并行化中如何选择最佳遍历顺序，以提高不同神经网络家族的训练时间。

    Jan, 2022

  • 芯片设计中联合学习解决放置和路由问题

    通过深度强化学习方法 DeepPlace 和 DeepPR，结合梯度优化和强化学习，编码输入宏单元的全局图层和本地节点层信息的多视图嵌入模型，并通过鼓励探索的随机网络蒸馏方法，有助于解决现代芯片设计过程中的放置和路由问题。

    Oct, 2021