Moirai：面向异构设备的分布式推理优化放置

Dec, 2023

Moirai：面向异构设备的分布式推理优化放置

Moirai: Towards Optimal Placement for Distributed Inference on Heterogeneous Devices

Beibei Zhang, Hongwei Zhu, Feng Gao, Zhihui Yang, Sean Xiaoyang Wang

TL;DRMoirai is a device placement algorithm that leverages runtime inter-operator fusion to render a coarsened computation graph, reducing the search space and improving end-to-end inference performance for Deep Neural Networks.

Abstract

The escalating size of deep neural networks (DNNs) has spurred a growing research interest in hosting and serving dnn models across multiple devices. A number of studies have been reported to partition a DNN mode

deep neural networks dnn models device placement runtime inter-operator fusion inference performance

发现论文，激发创造

GDP: 数据流图的通用设备放置

本文提出了一种端到端的基于图神经网络的可扩展顺序关注机制，并使用超前网络在每个独立图上进行微调，达到了优于人类专家和先前技术的 16% 平均改善和 15 倍更快的收敛速度，从而实现了有关大型神经网络和设备放置的计算成本和效率的突破。

Sep, 2019

设备放置优化与强化学习

本文提出了一种使用序列到序列模型来预测 TensorFlow 计算图中哪些操作应该在哪些可用设备上运行的方法，并以预测的放置方式的执行时间作为奖励信号来优化序列到序列模型参数，结果表明在基于 Inception-V3 的 ImageNet 分类和基于 RNN LSTM 的语言建模和神经机器翻译的任务中，使用该模型能够发现优于手动设置和传统算法方法的设备放置方案。

Jun, 2017

一种针对计算图学习设备放置的结构感知框架

我们提出了一个基于强化学习的新框架，用于任务设备放置，该框架利用从 OpenVINO 工具包中提取的较小的计算图，包括图粗化、节点表示学习和策略优化等五个步骤，并结合了图表示学习和个性化图划分的模型变种，通过使用推荐设备放置的执行时间来制定奖励，多个实验表明该方法具有灵活性和有效性。

May, 2024

FlexMoE: 通过动态设备放置实现大规模稀疏预训练模型训练的扩展

本文提出了一种名为 FlexMoE 的 DNN 训练框架，通过动态专家管理和设备布置机制，以及调度模块来优化大规模预训练模型训练过程中动态数据流所导致的效率问题，实验表明其在自然语言处理模型和视觉模型等领域具有较强的可扩展性和优越的性能。

Apr, 2023

SplitPlace: 移动边缘环境中大规模神经网络的 AI 增强分裂和放置

这篇论文提出了一种基于强化学习的 AI 策略 SplitPlace，可以智能决策基于边缘计算的需求，采用分层或语义分割策略，对神经网络进行分割并将其部署在资源受限的移动边缘设备上，实现高效可扩展的计算。实验表明，SplitPlace 可以显著提高平均响应时间、截止日期违规率、推断准确度和总奖励达 46％，69％，3％和 12％。

May, 2022

具有模型压缩的异构边缘设备上具有容错性的分布式推理

RoCoIn 是一种用于异构边缘设备上本地分布式执行深度神经网络推断任务的稳健合作推断机制，通过知识蒸馏从大型模型中学习独立而紧凑的学生模型，并以冗余方式部署和执行相同的学生模型以提高推断过程的容错性和系统响应速度。与几种基线方法相比，广泛的模拟验证了我们的 RoCoIn 在分布式推断中的卓越性能，并证明了其在及时推断和容错能力方面的有效性。

Jun, 2024

设备边缘协同推理的最佳模型部署和在线模型分割

研究了设备 - 边缘共同推理的联合优化问题，其中包括在线模型分裂和模型放置决策，以最小化存在无线信道衰落时设备 - 边缘共同推理的能量和时间成本。

May, 2021

为分布式机器学习学习可推广设备部署算法

本文提出了一个名为 Placeto 的强化学习方法，用于高效地找到分布式神经网络训练的设备位置，并且可以学习通用的设备放置策略，这种策略可以应用于任何计算图，并且实验结果表明，使用 Placeto 可以找到与现有方法找到的最佳放置相当或更优的放置，并且可以在同一族的图中实现无需重新训练来预测优化放置，从而消除了其他强化学习方法带来的大量开销。

Jun, 2019

GiPH: 适应性异构计算的通用布局学习

GiPH 是一种学习方法，利用图形神经网络和图形表示法表示信息，学习动态设备集群中的好位置，使应用完成时间最短。GiPH 能够找到比其他基于搜索的部署策略更快的位置，完成时间降低了 30.5%。

May, 2023

RL-DistPrivacy: 低延迟 IoT 系统隐私感知分布式深度推理

本论文通过重新考虑分发策略，并利用增强学习设计来支持异构设备和多个 DNN / 数据集，实现协同深度推理的安全性，以平衡联合推理的延迟和数据隐私级别之间的权衡。

Aug, 2022