为大规模深度学习系统辩护：智能算法胜于硬件加速

Mar, 2019

为大规模深度学习系统辩护：智能算法胜于硬件加速

SLIDE : In Defense of Smart Algorithms over Hardware Acceleration for Large-Scale Deep Learning Systems

Beidi Chen, Tharun Medini, James Farwell, Sameh Gobriel, Charlie Tai...

TL;DR本研究提出了一种基于 CPU 的深度学习引擎 SLIDE，采用智能随机算法、多核并行和工作负载优化，通过针对大规模完全连接网络的训练，相对于优化的 Tensorflow（TF）在最佳可用 GPU 上进行训练，在任何给定准确性水平下，使用仅仅一个 44 核 CPU，SLIDE 的训练速度比 TF 快 3.5 倍（1 小时与 3.5 小时相比）。在相同的 CPU 硬件上，SLIDE 比 TF 快 10 倍以上。

Abstract

deep learning (DL) algorithms are the central focus of modern machine learning systems. As data volumes keep growing, it has become customary to train large neural networks with hundreds of millions of parameters to maintain enough capacity to memorize these volumes and obtain state-of

deep learning slide cpu training recommendation

发现论文，激发创造

深度学习系统的超高性能和能量效率：一种算法 - 硬件协同优化框架

本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

Feb, 2018

神经加速器的硬件 / 软件学习式协同设计

本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

Oct, 2020

PowerAI DDL

本论文介绍了一款软硬协同优化的分布式深度学习系统，通过使用多环通信模式和 GPU 的大规模并行计算等技术大幅度缩短了深度神经网络的训练时间，并在 Resnet-101 上取得了 33.8% 的验证精度，系统已被集成到 Tensorflow、Caffe 和 Torch 中。

Aug, 2017

Slalom：受信任硬件中神经网络的快速、可验证和私有执行

本研究探索了使用 Trusted Execution Environments（TEE）优化深度神经网络执行的问题，提出了一种名为 Slalom 的框架，用于实现基于 TEE 架构的有效且私密的外包计算，实验结果表明 Slalom 的执行性能在特定条件下有显著提升。

Jun, 2018

超级计算机规模的图像分类

本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

Nov, 2018

一个基于机器学习加速器的开源全栈优化框架

参数化机器学习加速器可通过硬件加速深度神经网络和非神经网络的机器学习算法进行设计空间探索，其中采用了物理设计驱动的学习预测框架，结合后端功耗、性能和面积分析以及前端性能模拟，实现了对后端 PPA 和运行时能耗等系统指标的真实估计，并引入了完全自动化的设计空间探索技术，通过对架构和后端参数的自动搜索来优化后端和系统指标。实验结果表明，该方法在两种深度学习加速器平台（VTA 和 VeriGOOD-ML）的 ASIC 实现中，无论是商业 12 纳米工艺还是研究导向的 45 纳米工艺，都能以平均 7％或更低的预测误差一致准确地预测后端 PPA 和系统指标。

Aug, 2023

深度学习推荐模型快速可扩展训练的软件硬件协同设计

本文介绍了使用 PyTorch 和 Zion platform 的高性能可扩展软件堆栈的 SW/HW 共同设计方案，用于高效训练大规模 DLRMs，实现了可分层分区和高性能的数据通信等多项优化，从而在之前系统的基础上将训练时间提速了 40 倍。

Apr, 2021

大规模深度学习模型的高效训练：文献综述

对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

Apr, 2023

大型语言模型预训练的高效参数搜索和并行性扩展研究

研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

Oct, 2023

异构 HPC 平台深度学习硬件加速器调查

该论文概述了近年来深度学习加速器的最新进展，并分类了最具影响力的架构和技术，以便提供给读者一个全面的视角，最终提供了一些关于深度学习加速器未来挑战的见解，例如量子加速器和光子学。

Jun, 2023