H2H：异构模型到异构系统的计算与通信感知映射

Apr, 2022

H2H：异构模型到异构系统的计算与通信感知映射

H2H: Heterogeneous Model to Heterogeneous System Mapping with Computation and Communication Awareness

Xinyi Zhang, Cong Hao, Peipei Zhou, Alex Jones, Jingtong Hu

TL;DR提出了一种依据计算和通信同时进行考虑的异构模型到异构系统映射算法，通过在稍稍减少计算来交换更好的通信，可以大幅度降低系统整体延迟和能耗。MAESTRO 建模表明，相比于现有的以计算为优先的映射算法，我们的算法可以实现 15% 至 74% 的延迟降低和 23% 至 64% 的能耗降低。

Abstract

The complex nature of real-world problems calls for heterogeneity in both machine learning (ML) models and hardware systems. The heterogeneity in ML models comes from multi-sensor perceiving and multi-task learning, i.e., multi-modality multi-task (MMMT), resulting in diverse deep neur

machine learning heterogeneous systems neural networks mapping algorithms system efficiency

发现论文，激发创造

异构集群上的编码计算

本文提出了一种编码框架（HCMM）以提高异构分布式计算的速度，并展示了在 Amazon EC2 上进行分布式矩阵乘法实验的结果。该方法比三种基准负载分配方案的速度分别快 61％，46％和 36％。同时，我们还提供了在异构设置中的最优负载分配问题的一般化解决方案，并开发了一个启发式算法（HCMM）负载分配问题。

Jan, 2017

面向数据异构性的分散式学习混合

该研究探讨了分散式学习框架的收敛性与混合度之间的关系，并提出了一种定量衡量梯度混合度的指标以及优化方法，通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。

Apr, 2022

异质图神经网络中的消息传递再探

基于对异构图神经网络中的消息传递机制的研究，本文提出了统一异质消息传递（HTMP）机制以及一种名为 CMGNN 的新方法，通过显式利用和改进兼容性矩阵，实现了在真实世界的异质图中消息传递机制和 CMGNN 方法的卓越性能。

May, 2024

异构图注意力网络学习多样化通信

该研究提出了一种名为 HetNet 的异构网络注意力思想，用于协调不同类型的机器人团队完成合作任务，并评估 HetNet 在解决信息交互问题中的性能提升，实验结果表明其相比基准方法，在学习复杂多智能体协作的通信协议方面，表现更好。

Aug, 2021

HeteroEdge: 解决异构协作自主系统中的不对称问题

本文提出了一个用于优化深度学习算法输入、模型推理通信、深度学习算法的自适应优化框架，并通过评估表明，将数据的 70% 分配给辅助结点可以最小化离线延迟，节约总操作时间。

May, 2023

现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

May, 2022

HighMMT: 量化多模态和交互异质性实现高维表示学习

本文提出了两种信息理论的度量方法，用于量化多模态学习中异构性，并提出了一种可扩展到多个领域的高模态模型 HighMMT，其性能优于以前的方法，并表现出重要的缩放行为。

Mar, 2022

5G 及更高版本的调制和无线信号分类的多任务学习方法：通过模型压缩实现边缘部署

本文提出了一种基于深度神经网络的多任务学习 (MTL) 框架，同时学习调制和信号识别任务，考虑到电磁频谱中的多样性无线信号，该框架能有效地提高分类准确性和学习效率，适用于资源受限的嵌入式电台平台，并提供了广泛的异构无线信号数据集。

Feb, 2022

在动态系统建模中可学习和可解释的模型组合

将不同类型的模型进行组合，提出了一种模型接口和新的通配拓扑方法，解决了代数环和不连续模型中的本地事件影响函数的挑战，并通过证明不同模型之间的连接拓扑关系来验证了方法的有效性。

Jun, 2024

SCAR: 在异构多芯片模块加速器上调度多模型 AI 工作负载

最近的大规模语言模型等新型大规模混合模态工作负载大大增加了硬件的计算和内存需求。为了应对不断增长的需求，设计可扩展的硬件架构成为一个关键问题。在最近的解决方案中，基于 2.5D 硅互联器多芯片模块（MCM）的人工智能加速器已被广泛探索，由于其在低工程成本和可组合性方面具有显著优势。然而，以前的 MCM 加速器是基于具有固定数据流的同构架构，对于高度异构的多模型工作负载存在重大挑战，因为它们的工作负载适应性有限。因此，在本研究中，我们探索了采用异构数据流 MCM 人工智能加速器的机会。我们确定了在异构数据流 MCM 人工智能加速器上进行多模型工作负载调度是一个重要且具有挑战性的问题，由于其重要性和规模，即使在 6x6 芯片的单模型情况下，也达到 O（10 ^ 18）规模。我们开发了一组启发式方法来遍历巨大的调度空间，并将它们整理成具有高级技术（如芯片间流水线）的调度器。我们对十种多模型工作负载场景进行的评估（包括数据中心多租户和增强现实 / 虚拟现实应用）显示了我们方法的有效性，相比于同构基线，平均能减少 35.3% 和 31.4% 的能量 - 延迟产品（EDP）。

May, 2024