May, 2024

SambaNova SN40L：通过数据流和专家组合扩展 AI 的内存墙

PDF
TL;DR结合 Composition of Experts（CoE）、流数据流和三层内存系统解决了人工智能内存瓶颈的问题，并介绍了 Samba-CoE，一个包含 150 个专家和一万亿总参数的 CoE 系统，部署在 SambaNova SN40L Reconfigurable Dataflow Unit (RDU) 上，通过引入三层内存系统、专用的 RDU 网络和多个 RDU 插槽实现了速度提升，有效减少机器占用空间并加快模型切换时间。
monolithic large language modelscomposition of expertsmemory wallsamba-coedataflow accelerator architecture
发现论文，激发创造
  • 一种新颖的张量专家混合并行方法用于规模化专家混合训练

    本文提出一种新的混合专家神经网络架构（MoE），并采用三维混合并行算法，结合张量、专家和数据并行，进行内存和通信优化，极大地提高了 MoE 模型的训练效率和精度。

    Mar, 2023

  • 重访级联集成以提高推理效率

    本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

    Jul, 2024

  • 智能存储方块实现可扩展节能的深度学习 Neurostream

    本文提出了一种基于高带宽内存和处理器内存的柔性解决方案，名为 NeuroCluster，可用于深度卷积神经网络的可扩展和节能执行，并实现了最好的能源效率，平均性能为 240 GFLOPS，能源效率为 22.5 GFLOPS/W。

    Jan, 2017

  • 人工智能与内存壁

    通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。

    Mar, 2024

  • MoNDE: 大规模稀疏模型的近数据专家混合

    提出了一种近数据计算解决方案 MoNDE，通过仅传输热门专家到 GPU，将专家参数的传输转换为小型激活的传输，从而实现更高效的 MoE 推断，对于编码器和解码器操作都能实现显著加速。

    May, 2024

  • 专家合作：100M FLOPs 在 ImageNet 上实现 80% 的 Top-1 准确率

    本论文提出了一种 Collaboration of Experts (CoE) 框架，它可以将多个网络的专业知识汇集起来，以达到更好的性能表现。该框架由权重生成模块、标签生成模块和方差计算模块三个模块组成，可以实现对于 ImageNet 数据集的最优性能，并比某些现有的条件计算方法提供了 3-6 倍的加速。

    Jul, 2021

  • 走向 MoE 部署：缓解专家混合（MoE）推断中的低效率

    本文提出了三种 Mixture-of-Experts （MoE）模型的优化技术，分别为动态门控、专家缓存和专家负载均衡，其中动态门控技术可以在多达 5 倍的性能提升的同时减少 GPU 内存的使用，而专家缓存技术可以通过只在 GPU 内存中缓存热门专家来减少最高可达 1.47 倍的静态内存分配。这些技术能够提高该 MoE 模型的效率并使得其更容易部署到实际应用中。

    Mar, 2023

  • 协调深度神经网络：一种多功能的边缘卸载算法

    在本研究中，我们提出了一种名为 CoDE 的新算法，它能够协同处理深度神经网络模型，从而实现低延迟的边缘 AI 服务。通过利用自身和其他模型的参数，DNN 模型可以创建新的推理路径，从而降低本地计算负荷，同时只对精度产生最多 2% 的影响。在重负载条件下，CoDE 可以进一步减少推理时间 30%，而精度仅下降 4%。

    Jan, 2024

  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • CAMEL: 针对设备上高效学习，协同设计人工智能模型和嵌入式 DRAM

    本研究提出了使用嵌入式动态随机访问存储器 (eDRAM) 作为训练数据的主要存储介质来解决物联网 (IoT) 边缘设备上的深度神经网络训练问题，并设计了一种新颖的可逆 DNN 架构和高效的设备端训练引擎 CAMEL 来实现不需 eDRAM 刷新的数据训练过程， 从而大大减少了 DNN 训练的能耗并在验证精度上实现了类似（甚至更好）的性能。

    May, 2023