使用可分离滤波器的二值卷积神经网络，以实现高效硬件加速

CVPRJul, 2017

使用可分离滤波器的二值卷积神经网络，以实现高效硬件加速

Binarized Convolutional Neural Networks with Separable Filters for Efficient Hardware Acceleration

Jeng-Hau Lin, Tianwei Xing, Ritchie Zhao, Zhiru Zhang, Mani Srivastava...

TL;DR通过在卷积神经网络内使用奇异值分解（SVD）来减少计算和存储复杂性的 BCNNw / SF 被提出，并且实现了对 CIFAR-10 数据集的 FPGA 硬件加速器，BCNNw / SF 加速器相对于仅有 BCNN 可以节省 17％的内存，并减少 31.3％的执行时间，仅牺牲了轻微的准确性。

Abstract

State-of-the-art convolutional neural networks are enormously costly in both compute and memory, demanding massively parallel GPUs for execution. Such networks strain the computational capabilities and energy available to embedded and mobile processing platforms, restricting their use in many important applications. In this paper, we push the boundaries of h

cnn singular value decomposition bcnnw/sf fpga memory savings

发现论文，激发创造

深度分解：在高效卷积神经网络中加速可分离卷积

本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

Oct, 2019

使用深度可分离卷积在 FPGA 上加速卷积神经网络

本文中，提出了一种可扩展的高性能深度可分离卷积优化的卷积神经网络加速器，适用于不同大小的 FPGA，可以实现 GPU 级别的卷积操作，提高了计算速度。在 Arria 10 SoC FPGA 上实现了 MobileNetV2，并取得了比 CPU 快 20 倍的结果。

Sep, 2018

二值化神经网络

本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

Feb, 2016

SCNN：压缩稀疏卷积神经网络加速器

该论文介绍了一种名为 Sparse CNN 的卷积神经网络加速器体系结构，它可以通过利用 CNN 训练期间的网络修剪所产生的零值权重以及推理期间常见的 ReLU 算子产生的零值激活来提高性能和能源效率，从而减少数据传输和存储要求，并通过一种新型数据流方式有效地传递权重和激活值到乘法器阵列。该加速器在现代神经网络上可以将性能和能源效率分别提升 2.7 倍和 2.3 倍。

May, 2017

使用二值化神经网络的高效超分辨率

本文探讨了网络二值化在单图像超分辨率中的应用，给出了一种只对残差块中的卷积滤波器进行二值化并采用可学习权重的方法，实验表明该方法在保持重构精度的同时能够显著减小模型大小并提供更高的推理速度。

Dec, 2018

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

二值化单纯形卷积神经网络

基于二值正向传播策略的二值单纯共形神经网络，通过使用 simplicial convolution 结合 Hodge Laplacian 可以高效且准确地表示高阶结构，相较于之前的单纯共形神经网络具有更小的模型复杂度，缩短了执行时间且不易产生过度平滑效应。

May, 2024

加速用于分类和检测的非常深的卷积网络

本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

May, 2015

YodaNN: 超低功耗二进制卷积神经网络加速架构

本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

Jun, 2016

移动设备上的量化卷积神经网络

该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

Dec, 2015