Jan, 2022

网络内聚合的数据平面高效内存调度

PDF
TL;DR本文介绍 ESA 算法，一个用于优化 In-Network Aggregation 过程中交换机中有限的内存管理，通过增加数据优先级调度和引入抢先式密集聚合器，可以提高交换机存储器利用率和平均作业完成时间（JCT），并可以将平均 JCT 提高至 1.35 倍。
in-network aggregationswitch memorydistributed trainingcommunication bottleneckesa
发现论文，激发创造
  • 利用网络内聚合扩展分布式机器学习

    SwitchML 是一种通信基元，通过使用可编程交换机数据平面执行培训过程的关键步骤，从而将来自多个网络工作人员的模型更新聚合，与终端主机协议和 ML 框架共同设计以提供高效解决方案，最多可将培训速度加速 5.5 倍。

    Feb, 2019

  • 有序混沌：针对边缘设备的不规则连线神经网络的内存感知调度

    提出了一种名为 SERENITY 的记忆感知编译器，利用动态规划找到了与 TensorFlow Lite 相比内存占用更少的最优计划，并通过图重写技术进一步优化，使其可以用于边缘设备。

    Mar, 2020

  • 为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

    通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。

    Nov, 2023

  • 基于内存感知的复杂有线网络具有迭代图优化的调度

    基于迭代计算图优化的高效内存感知调度框架可显著降低网络推理的内存占用，具有更好的可扩展性和计划优化性能。

    Aug, 2023

  • SwapNet: 边缘 AI 设备上高效交换的 DNN 推断处理超出内存预算

    在边缘人工智能设备上执行深度神经网络（DNNs）可以实现各种自主移动计算应用，但是边缘人工智能设备的内存预算限制了此类应用中允许的 DNN 数量和复杂性。为了避免这些缺点，我们将 DNN 分解为块并按顺序进行交换，以使大规模 DNN 能够在较小的内存预算内执行。然而，在边缘人工智能设备上进行简单的交换会由于 DNN 开发生态系统中的冗余内存操作而导致显著延迟。为此，我们开发了 SwapNet，一种用于边缘人工智能设备的高效 DNN 块交换中间件。我们在保持与边缘人工智能设备的深度学习框架、GPU 后端和硬件架构兼容的同时，系统地消除了块交换过程中不必要的内存操作。我们通过一个多 DNN 调度方案进一步展示了 SwapNet 的实用性。在三个应用中对十一个 DNN 推断任务的评估结果表明，即使 DNN 在可用预算之外需要 2.32 倍至 5.81 倍的内存，SwapNet 的延迟几乎与具有充足内存的情况相同。SwapNet 的设计还为将大型语言模型（LLMs）部署到边缘人工智能设备上提供了新颖而可行的见解。

    Jan, 2024

  • 脑启动开关：基于线速率 NN 驱动交通分析的高级智能网络数据平面

    通过在数据平面上实现一个新颖的适合递归神经网络的架构，并结合基于变压器的模块，该研究论文介绍了 BoS，其可以实现线性速度的智能网络数据平面，从而在流量分析的准确性和扩展性方面超过现有技术。

    Mar, 2024

  • 基于回声状态网络的云无线接入网络中移动用户的主动缓存

    该研究旨在解决云无线电接入网络中预测式缓存的问题，通过利用基带单元的机器学习框架并结合子线性算法，确定内容缓存，研究发现该方法相较于随机缓存算法提高了 27.8％至 30.7％的有效容量。

    Jul, 2016

  • SmartSAGE: 使用存储处理架构训练大规模图神经网络

    本文针对大规模图神经网络 GNN 训练所需的巨大存储容量和内存限制的问题，提出了一种基于存储器的处理（ISP）架构的解决方案 SmartSAGE，使 GNN 训练系统具有高容量存储和高性能。

    May, 2022

  • Mini-batch Serialization: CNN 训练中的层间数据重用

    介绍了一种名为 MBS CNN 训练方法以及 WaveCore CNN 训练加速器，它们通过在芯片缓冲区内优化复用而不是访问外部内存来减少内存访问并分别降低 DRAM 流量 75％ 和系统能量 26％。

    Sep, 2018

  • 子图站点硬件 - 软件推断协同设计

    该研究论文提出了一种基于权重共享超网络机制的子图固定（SGS）优化方法，通过在动态环境下提供流式查询，实现了机器学习的更好的预测精度和更短的响应时间。

    Jun, 2023