使用图灵 GPU 中的位张量核加速二值神经网络

Jun, 2020

使用图灵 GPU 中的位张量核加速二值神经网络

Accelerating Binarized Neural Networks via Bit-Tensor-Cores in Turing GPUs

Ang Li, Simon Su

TL;DR通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作，使其在处理 ImageNet 数据集时比现有软件实现快出 77％，从而显著提高性能。

Abstract

Despite foreseeing tremendous speedups over conventional deep neural networks, the performance advantage of binarized neural networks (BNNs) has merely been showcased on general-purpose processors such as CPUs and GPUs. In fact, due to being unable to leverage bit-level-parallelism wit

binarized neural networks tensorcores bit computation data-format co-design tensorcore-accelerated bnn design

发现论文，激发创造

二值化神经网络

本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

Feb, 2016

BitGNN: 在 GPU 上释放二值图神经网络的性能潜能

本研究提出了一种二进制图神经网络的高效推理后端的重新设计，旨在充分地发挥加速器硬件性能潜力；在实际图形中，使用 GCNs、GraphSAGE 和 GraphSAINT 的结果表明，使用相同的精度，所提出的技术比最先进的二进制 GNN 实现快 8-22 倍。

May, 2023

PhoneBit: 移动手机高效 GPU 加速二值神经网络推断引擎

本文提出了 PhoneBit，一种针对基于 Android 的移动设备的 GPU 加速二值神经网络推断引擎，旨在通过运用区别于桌面平台的架构，提出操作级优化方案，以挖掘移动 GPU 的计算能力，实现二值卷积的高效率，从而取得了相比移动设备上其它顶尖框架更为显著的速度加速和能量效率改进。

Dec, 2019

可再配置逻辑上二值神经网络的扩展

该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

Jan, 2017

二进制神经网络中的数据流优化

通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

Apr, 2023

Sub-bit 神经网络：学习压缩和加速二进制神经网络

介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和 FPGA 硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

Oct, 2021

二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

Feb, 2016

QGTC：使用 GPU 张量核加速量化图神经网络

该论文提出了一种基于张量核心的计算框架 QGTC，支持 GPU 上的 QGNN 的任何位宽计算，实验结果表明 QGTC 相对于 Deep Graph Library 框架平均加速了 2.7 倍。

Nov, 2021

二值神经网络的综合评述

本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法 / 技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了 BNN 的应用，以及其潜在的发展方向和未来研究机会。

Oct, 2021

FracBNN：具有分数激活的准确和 FPGA 高效二值神经网络

研究提出了一个名为 FracBNN 的新型二进制神经网络模型，利用分数激活方法，通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集（如 ImageNet）表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 的精准率，且模型尺寸减少了 2.5 倍。在嵌入式 FPGA 设备上，FracBNN 显示出实时图像分类的能力。

Dec, 2020