Eyeriss v2: 用于移动设备上新兴深度神经网络的灵活加速器

Jul, 2018

Eyeriss v2: 用于移动设备上新兴深度神经网络的灵活加速器

Eyeriss v2: A Flexible Accelerator for Emerging Deep Neural Networks on Mobile Devices

Yu-Hsin Chen, Tien-Ju Yang, Joel Emer, Vivienne Sze

TL;DR本文介绍了一种名为 Eyeriss v2 的 DNN 加速器结构，旨在为运行紧凑和稀疏的 DNN 提供专门的硬件支持，通过高度灵活的片上网络和直接在压缩域中处理稀疏数据的设计，显著提高计算性能和能源效率，同时提供了一种名为 Eyexam 的分析方法，可以作为一种系统的方式来理解 DNN 处理器的性能极限。

Abstract

A recent trend in DNN development is to extend the reach of deep learning applications to platforms that are more resource and energy constrained, e.g., mobile devices. These endeavors aim to reduce the DNN model size and improve the hardware processing efficiency, and have resulted in DNNs that are much more compact in their structures and/or have high data

dnn accelerator compact models sparse models eyeriss v2 eyexam

发现论文，激发创造

压缩深度神经网络的高效推理引擎 EIE

本文提出了一种名为 EIE 的能效推理引擎，可以对压缩的神经网络模型进行推理，并通过重复使用权重来加速结果的稀疏矩阵 - 向量乘法，从而实现显著的能效提升。

Feb, 2016

DNNShifter: 边缘计算的高效 DNN 剪枝系统

DNNShifter 是一个端到端的 DNN 训练、空间修剪和模型切换系统，通过采用结构化修剪的新方法，快速地生成适用于边缘推理的模型变体，这些模型变体比密集模型小且快速，并且在保持相似精度的同时，产生出高效的推理延迟和低开销模型切换和内存利用。

Sep, 2023

快速稀疏卷积神经网络

本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

Nov, 2019

YodaNN: 超低功耗二进制卷积神经网络加速架构

本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

Jun, 2016

高亮：基于分层结构稀疏性的高效灵活的 DNN 加速

以多层复杂结构表示不同稀疏度，提出 DNN 加速器 HighLight，能有效地将 DNN 稀疏化转换为降低能耗和延迟的技术，并达到高灵活性和性能，改善 DNN 应用的精度和能效。

May, 2023

通过迁移学习实现移动计算机视觉的高效硬件 FixyNN

本文介绍一种名称为 FixyNN 的方案，采用固定权重的特征提取器和传统可编程 CNN 加速器相结合，在保证高准确率的前提下实现能耗控制

Feb, 2019

Morph: 3D CNN 基于视频理解的灵活加速

本文提出了一个名为 Morph 的新型加速器，用于自适应地支持不同的空间和时间平铺策略，从而有效加速用于视频理解的 3D 卷积神经网络。在最新的 3D CNN 上评估，与基线 3D CNN 加速器相比，Morph 可将能耗降低 3.4 倍（平均降低 2.5 倍），性能 / 瓦特提高 5.1 倍（平均提高 4 倍），并且仅有 5％的面积开销。

Oct, 2018

异构分布式物联网环境下适应性推理的高效后训练增强

我们提出了一种自动增强流程，将现有模型转换为 EENN，并为异构或分布式硬件目标执行所有必需的设计决策。我们的方法在物联网和标准图像分类用例中都能有效降低推理成本，并大大减少 EENNs 的搜索成本，提高了神经网络在各种实际应用中的效率。

Mar, 2024

EagleEye：高效神经网络剪枝的快速子网络评估

本文提出了一种名为 EagleEye 的剪枝算法，利用简单且高效的自适应批量归一化评估方法来加速识别潜在精度最高的剪枝候选项，从而更好地裁剪神经网络。在 MobileNet V1 和 ResNet-50 等模型中进行实验表明，EagleEye 优于所有已有的算法，FLOPs 剪枝达到 50% 时，对于 MobileNet V1 模型，EagleEye 实现了 70.9% 的 Top-1 ImageNet 模型分类精度。

Jul, 2020

SparseByteNN：一种基于细粒度分组稀疏性的新型移动推理加速框架

为了解决网络规模增大的挑战，研究者通过网络剪枝开发了稀疏模型。然而，在通用计算设备上实现显著加速的同时保持模型准确性仍然是一个未解决的问题。在本文中，我们提出了一种新颖的移动推理加速框架 SparseByteNN，通过利用细粒度的内核稀疏性实现实时执行和高准确性。我们的框架包括两个部分：（a）一种细粒度的内核稀疏模式，其稀疏粒度介于结构化剪枝和非结构化剪枝之间。它为不同操作器设计了多种稀疏模式。结合我们提出的整体网络重新排列策略，该模式同时实现高压缩率和高精度。（b）与稀疏模式共同优化的推理引擎。常理认为，这种理论上的 FLOPs 减少并不能转化为真实世界的效率提升。我们旨在通过引入一族针对 ARM 和 WebAssembly 的高效稀疏内核来纠正这种误解。通过我们对稀疏原语的高效实现，我们展示了 MobileNet-v1 的稀疏版本在效率 - 准确性曲线上胜过性能强大且密集的基线模型。Qualcomm 855 的实验结果表明，对于 30％稀疏的 MobileNet-v1，SparseByteNN 相对于密集版本获得了 1.27 倍的加速，并相对于最先进的稀疏推理引擎 MNN 获得了 1.29 倍的加速，准确性略有下降，下降了 0.224％。SparseByteNN 的源代码将在此 https URL 上提供。

Oct, 2023