本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

Nov, 2018

这篇论文介绍了第一个使用现代高性能计算架构解决科学模式分类问题的 15-PetaFLOP 深度学习系统。通过使用卷积神经网络对高能物理数据和气候数据进行监督和半监督建模，实现了在单个 Cori Phase-II Xeon-Phi 节点上达到 2 TFLOP/s；在使用节点组之间的异步通信和同步节点组的混合策略的情况下，将单模型的训练扩展到 9600 个 Xeon-Phi 节点，达到了 11.73-15.07 PFLOP/s 峰值性能和 11.41-13.27 PFLOP/s 持续性能。最终，作者的高能物理和气候学模式分类问题的卷积神经网络表现出了超过那些高层次物理学特征选择所达到的最先进的分类准确性；而他们的半监督架构成功地在 15TB 的气候数据集中提取了天气模式，证明了深度学习在众核 HPC 系统上的有效优化和扩展.

Aug, 2017

本论文介绍了一款软硬协同优化的分布式深度学习系统，通过使用多环通信模式和 GPU 的大规模并行计算等技术大幅度缩短了深度神经网络的训练时间，并在 Resnet-101 上取得了 33.8% 的验证精度，系统已被集成到 Tensorflow、Caffe 和 Torch 中。

Aug, 2017

本文介绍了 FireCaffe，一个可以在 GPU 集群上成功扩展深度神经网络训练的工具，并提出了一些最佳实践方法以帮助比较不同缩放和加速深度神经网络训练方法的进展。在 ImageNet 上训练 GoogLeNet 和 Network-in-Network 时，当集群有 128 个 GPU 时，取得了 47x 和 39x 的加速效果。

Oct, 2015

使用深度学习技术在超级计算机上搭建了基于 TensorFlow 框架的高度可伸缩的宇宙学应用 CosmoFlow，通过使用 3D 卷积和池化原语的高效实现，平台多线程计算操作等技术手段，在 Cori 系统上训练具有 77％并行效率的 8192 个节点，取得 3.5 Pflop /s 的持续性能，成功处理了大规模的 3D 暗物质分布并预测了宇宙学参数 ΩM，σ8 和 ns 的精度空前的结果。

Aug, 2018

提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。

Jul, 2018

基于低功耗的内嵌 FPGA 提出的分布式系统，可用于边缘计算应用，通过分布式调度优化深度学习负载以获得最佳性能，同时可以在多种配置下评估和管理神经网络工作负载。

May, 2023

本研究将深度等变神经网络的主要精度、样本效率和鲁棒性推向了极端计算规模，结合创新的模型架构、大规模并行化和为高效 GPU 利用进行了优化的模型和实现，实现了 Allegro 架构的构建，支持描述前所未有的复杂结构中的动力学过程，同时具有了捕获量子真实性的能力，其可扩展性非常高，可以进行数十纳秒的稳定蛋白质动力学模拟，也可以在 Perlmutter 超级计算机上扩展到 4400 万个全原子水合 HIV 衣壳分子，并展示了 1000 万和 5120 A100 GPU 的优异强伸缩性。

Apr, 2023

通过添加新的数据类型到 Caffe，增加了现有商品电子设备上深度学习推断速度，在某些设备上，内存使用量可以降低到 3.29 倍，推断速度可以提高到 3.01 倍，并提出了一种混合专家模型的变化来增加图像分类中的推断速度。

Sep, 2022

研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

Oct, 2023