Nov, 2023

DLAS：深度学习加速器方案的探索与评估

PDF
TL;DR深度神经网络的加速和优化在资源有限的设备上是具有挑战性的，这篇论文结合了机器学习和系统技术，在 Deep Learning Acceleration Stack (DLAS) 中演示了如何通过整合不同层面的改进技术来提高加速效果，并强调了由于参数调整引起的 DLAS 各层之间的相互影响。研究发现，模型大小、准确性和推理时间之间并没有必然的关联，压缩技术的加速效果也受具体硬件平台的影响，而编译器自动调优可能会改变最佳算法的选择，因此需要进行协同设计来进一步优化加速深度学习的解决方案。
deep neural networksdnnsdeep learning acceleration stackdlasco-design
发现论文，激发创造
  • 一个基于机器学习加速器的开源全栈优化框架

    参数化机器学习加速器可通过硬件加速深度神经网络和非神经网络的机器学习算法进行设计空间探索，其中采用了物理设计驱动的学习预测框架，结合后端功耗、性能和面积分析以及前端性能模拟，实现了对后端 PPA 和运行时能耗等系统指标的真实估计，并引入了完全自动化的设计空间探索技术，通过对架构和后端参数的自动搜索来优化后端和系统指标。实验结果表明，该方法在两种深度学习加速器平台（VTA 和 VeriGOOD-ML）的 ASIC 实现中，无论是商业 12 纳米工艺还是研究导向的 45 纳米工艺，都能以平均 7％或更低的预测误差一致准确地预测后端 PPA 和系统指标。

    Aug, 2023

  • DLAU：一种在 FPGA 上可扩展的深度学习加速器单元

    本文提出了一种可扩展的加速器体系结构 DLAU，通过在 FPGA 上实现，使用三个流水线处理单元来提高吞吐量并利用瓦片技术探索深度学习应用程序的局部性来提高性能和维护低功耗，实验结果表明 DLAU 加速器与 Intel Core2 处理器相比，速度提高了 36.1 倍，功耗为 234mW。

    May, 2016

  • AdaDeep: 一种面向应用的、自动化的深度模型压缩框架，以实现普适智能移动

    AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

    Jun, 2020

  • DeepAxe：一种用于探索 DNN 加速器中近似和可靠性权衡的框架

    本文提出了一个基于 FPGA 的 DNN 加速器设计框架 DeepAxe, 考虑了准确性、可靠性和硬件性能之间的平衡，通过功能逼近来减少硬件平台的计算负担，为目标资源利用要求提供了一组 Pareto 最优的 DNN 实现设计空间点。

    Mar, 2023

  • 深度学习模型并行加速中的陈旧度优化

    本研究提出了 Layer-wise Staleness 方法与 Diversely Stale Parameters (DSP) 算法来解决深度卷积神经网络的训练效率问题，并对两种梯度法进行分析和证明，实验证明 DSP 能显著提升训练速度并具备更强的鲁棒性。

    Sep, 2019

  • 神经加速器的硬件 / 软件学习式协同设计

    本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

    Oct, 2020

  • 自主驾驶中的深度学习加速器循环可靠性评估

    本文提出了一个 DLA-in-loop 可靠性评估平台，用于解决自动驾驶中深度学习加速器（DLAs）可靠性评估中高级度量与底层度量不一致的问题。

    Jun, 2023

  • 在数据中心加速器上寻找快速模型族

    本文提出了一个基于数据中心加速器优化的神经网络架构搜索空间，并探讨了新型的复合比例尺度方法，提出了一种称为 EfficientNet-X 的新型模型系列，该模型在 TPUv3 和 GPUv100 上比现有的 RegNet 和 ResNeSt 速度均快至少 2 倍，同时具有可与其相媲美的准确性。

    Feb, 2021

  • 大规模深度学习模型的高效训练：文献综述

    对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

    Apr, 2023

  • 可重构分布式 FPGA 集群设计用于深度学习加速器

    基于低功耗的内嵌 FPGA 提出的分布式系统，可用于边缘计算应用，通过分布式调度优化深度学习负载以获得最佳性能，同时可以在多种配置下评估和管理神经网络工作负载。

    May, 2023