Jun, 2024

FRED: 适用于芯片尺度分布式深度学习模型训练的灵活缩减分发互连和通信实现

HTML
PDF
TL;DR提出了FRED，这是一个面向片上网络的高带宽要求而量身定制的片上互连，可有效执行不同并行化策略的通信模式，并且通过大约2倍降低网络流量，改善了ResNet-152，Transformer-17B，GPT-3和Transformer-1T的平均端到端训练时间。
发现论文，激发创造
  • FireCaffe: 在计算集群上深度神经网络训练的近线性加速

    本文介绍了 FireCaffe，一个可以在 GPU 集群上成功扩展深度神经网络训练的工具，并提出了一些最佳实践方法以帮助比较不同缩放和加速深度神经网络训练方法的进展。在 ImageNet 上训练 GoogLeNet 和 Network-in-Network 时，当集群有 128 个 GPU 时，取得了 47x 和 39x 的加速效果。

    Oct, 2015

  • PowerAI DDL

    本论文介绍了一款软硬协同优化的分布式深度学习系统，通过使用多环通信模式和GPU的大规模并行计算等技术大幅度缩短了深度神经网络的训练时间，并在Resnet-101上取得了33.8%的验证精度，系统已被集成到Tensorflow、Caffe和Torch中。

    Aug, 2017

  • 深度学习并行和分布式技术揭秘：并发性分析深入研究

    本文综述了Deep Neural Networks的并行处理问题，探讨了并行化分布式架构，并详细介绍了并发类型、异步随机优化、通信方案、神经架构搜索等不同方向的研究方法，最终提出了深度学习并行处理的潜在方向。

    Feb, 2018

  • 基于多GPU平台的模型并行的高效稳健的DNN训练

    该论文提出了一种基于SpecTrain的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高GPU利用率，相比数据并行法可提高8.91倍的速度。

    Sep, 2018

  • LogicNets: 极高吞吐量应用的协同设计神经网络和电路

    通过设计神经网络拓扑结构来直接映射高效FPGA实现的一种新方法。其中，硬件成本与神经元扇入呈指数级增长，通过使用稀疏和低比特激励量化来限制神经元扇入及减小逻辑深度和低LUT成本，可以实现具有高速低延时和高吞吐量的电路。应用于高能物理和网络入侵检测等任务，具有竞争性的准确性，每秒推断量可达数亿。

    Apr, 2020

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率10-20倍。

    Aug, 2021

  • 大规模语言模型训练的优化网络架构

    该研究挑战了用于训练大型语言模型的任意-任意网络建立的现有范式，通过展示语言模型表现出一种独特的通信模式，其中只有小组GPU之间需要高带宽的任意-任意通信，以实现近乎最优的训练性能。研究提出了一种新的网络架构，与语言模型的通信需求相似。该架构将集群分为互连的GPU集合，通过非阻塞的任意-任意高带宽互连，我们将其称为HB域。该网络仅连接具有通信需求的GPU，被称为“仅轨道连接”，研究表明，我们提出的架构将网络成本减少了75％，而不会影响LLM训练的性能。

    Jul, 2023

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括5个编码解码器LLM（从5.8亿到130亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软DeepSpeed Zero Redundancy Optimizer (ZeRO)阶段。

    Oct, 2023

  • 一种可配置和高效的神经网络硬件加速器内存层次结构

    我们提出了一个可配置的内存层次结构框架，旨在为深度神经网络(DNNs)的自适应内存访问模式提供数据，并在最小化所需内存容量的同时维持高加速器性能方面达到优化平衡。

    Apr, 2024

  • 在核心互连智能处理器上扩展深度学习计算

    该研究解决了当前深度学习编译器无法充分利用新型AI芯片中可扩展核心互连的问题。论文提出了T10编译器，创新性地引入分布式张量抽象rTensor，并通过普适的计算迁移模式优化了DNN模型在核心间的数据交换，从而实现了3.3倍的性能提升，使得对更大模型的可扩展性得以支持。

    Aug, 2024