卷积神经网络的硬件逼近

ICLRApr, 2016

Hardware-oriented Approximation of Convolutional Neural Networks

Philipp Gysel, Mohammad Motamedi, Soheil Ghiasi

TL;DR本文提出 Ristretto，一种模型逼近框架，可以使用固定点算术和表示来压缩卷积和全连接层的权重和输出，并且可以通过微调将结果定制到具体的硬件设备，成功地将 CaffeNet 和 SqueezeNet 压缩到 8 位。

Abstract

High computational complexity hinders the widespread usage of Convolutional Neural Networks (CNNs), especially in mobile devices. hardware accelerators are arguably the most promising approach for reducing both execution time and power consumption. One of the most important steps in ac

convolutional neural networks hardware accelerators model approximation fixed point arithmetic ristretto

发现论文，激发创造

Ristretto：卷积神经网络的硬件取向近似

本文介绍了一个快速自动化的 CNN 近似框架 Ristretto，其可以将 CaffeNet 和 SqueezeNet 压缩到 8 位，以此实现硬件加速，从而减少运行时间和功耗。

May, 2016

基于深度神经网络进行定制硬件逼近：过去和未来

该论文提供了有关高性能网络推断的近似方法的全面评估，并深入讨论了这些方法在自定义硬件实现中的有效性，旨在启发该领域的新发展。

Jan, 2019

移动设备上的量化卷积神经网络

该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

Dec, 2015

非线性卷积网络的高效准确近似

本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将 ImageNet 的训练速度提升 4 倍，精度提高 4.7%。

Nov, 2014

防御性近似计算：使用近似计算保护卷积神经网络

使用硬件支持的近似计算来提高机器学习分类器的鲁棒性，在黑箱、灰箱和白箱攻击场景中，实现了成功的防御，并减少了资源利用和能量消耗。

Jun, 2020

准确、无乘法的深度神经网络的硬件 - 软件协同设计

通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

May, 2017

ResNet 类型卷积神经网络的近似与非参数估计

本文证明了一种 ResNet 型 CNN 模型在具有 block-sparse 结构的情况下可以在 Barron 和 H"older 类中实现 minimax 优化差错率，并且该理论具有普适性。

Mar, 2019

YodaNN: 超低功耗二进制卷积神经网络加速架构

本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

Jun, 2016

限定时间成本下的卷积神经网络

本文研究在时间约束成本下，卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验，得出一个在 ImageNet 数据集中准确率很高（11.8% 的 top-5 误差，10 视图测试），但比 AlexNet（16.0% 的 top-5 误差，10 视图测试）快 20% 的网络架构。

Dec, 2014

基于减法器的 CNN 推断加速器

该研究提出了一种利用减法器提高 CNN 推理加速器性能的新方法，通过排序、分组和舍入权重来创建组合，从而可以在推理期间将一个乘法和加法运算替换为一个减法运算，从而降低功耗和面积，并通过增加或减少减法器的使用来控制性能增益和准确性损失的权衡。利用 MNIST 数据集和 LeNet-5，采用舍入大小为 0.05 的设计可以实现 32.03％的功耗节省和 24.59％的面积减少，仅以 0.1％的准确性损失为代价。

Oct, 2023