FracBNN：具有分数激活的准确和 FPGA 高效二值神经网络

MMDec, 2020

FracBNN：具有分数激活的准确和 FPGA 高效二值神经网络

FracBNN: Accurate and FPGA-Efficient Binary Neural Networks with Fractional Activations

Yichi Zhang, Junhao Pan, Xinheng Liu, Hongzheng Chen, Deming Chen...

TL;DR研究提出了一个名为 FracBNN 的新型二进制神经网络模型，利用分数激活方法，通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集（如 ImageNet）表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 的精准率，且模型尺寸减少了 2.5 倍。在嵌入式 FPGA 设备上，FracBNN 显示出实时图像分类的能力。

Abstract

binary neural networks (BNNs) have 1-bit weights and activations. Such networks are well suited for fpgas, as their dominant computations are bitwise arithmetic and the memory requirement is also significantly re

binary neural networks fracbnn fractional activations fpgas imagenet

发现论文，激发创造

可再配置逻辑上二值神经网络的扩展

该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

Jan, 2017

回归简单：如何从头训练准确的二值神经网络？

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

基于对比学习的网络二值化

本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

Jul, 2022

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

二进制神经网络中的数据流优化

通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

Apr, 2023

训练比特全卷积网络以实现快速语义分割

我们提出了一种用于训练 Bit Fully Convolutional Network（BFCN）的方法，在训练完一个低比特宽度的权重和激活的全卷积神经网络之后，并使用有效率的比特卷积实现进行加速，结果显示，我们使用的 BFCN 在 PASCAL VOC 2012 语义分割任务和 Cityscapes 上均能获得比 32 位计算相当的性能，并且与 32 位对照组相比，可以在 CPU 上提高 7.8 倍的性能或在 FPGA 上使用不到 1％的资源。

Dec, 2016

二值化神经网络

本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

Feb, 2016

朝着精准二值卷积神经网络

本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

Nov, 2017

二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

Feb, 2016

FINN: 快速可伸缩二值神经网络推理框架

本文介绍 FINN，一种用于构建快速、灵活的 FPGA 加速器的框架，该框架使用灵活的异构流式架构，并利用一组优化，将二值化神经网络映射到硬件上，从而实现完全连接、卷积和池化层，同时满足用户提供的吞吐量要求。在低于 25W 的总系统功率下，该平台在 MNIST 数据集上表现出高达 1230 万次图像分类每秒，0.31 微秒的延迟和 95.8％的准确率，在 CIFAR-10 和 SVHN 数据集上表现出 21906 次和 283 微秒的延迟、80.1％和 94.9％的准确率，这是目前这些基准测试中报道的最快的分类率。

Dec, 2016