Dec, 2019

PhoneBit: 移动手机高效 GPU 加速二值神经网络推断引擎

PDF
TL;DR本文提出了 PhoneBit，一种针对基于 Android 的移动设备的 GPU 加速二值神经网络推断引擎，旨在通过运用区别于桌面平台的架构，提出操作级优化方案，以挖掘移动 GPU 的计算能力，实现二值卷积的高效率，从而取得了相比移动设备上其它顶尖框架更为显著的速度加速和能量效率改进。
发现论文，激发创造
  • 使用图灵 GPU 中的位张量核加速二值神经网络

    通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作，使其在处理 ImageNet 数据集时比现有软件实现快出 77％，从而显著提高性能。

    Jun, 2020

  • daBNN: 基于 ARM 设备的二值神经网络超快推断框架

    本文提出了 daBNN 这一快速推理框架，基于二进制神经网络，通过特定的速度优化和内存优化策略，可以有效地在 ARM 设备上运行，并在单个二值卷积上比最近的 BMXNet 布尔神经网络推理框架快 7 倍到 23 倍，并在 Bi-Real Net 18 上比 BMXNet 快 6 倍。

    Aug, 2019

  • 二进制神经网络中的数据流优化

    通过引入剪裁块，减少二元神经网络层的数据宽度和内部累加器大小，同时优化批标准化层的实现和 ARM 指令集的二值化卷积，提高了推理速度和准确度。

    Apr, 2023

  • 使用移动 GPU 进行设备端神经网络推断

    本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

    Jul, 2019

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • BitGNN: 在 GPU 上释放二值图神经网络的性能潜能

    本研究提出了一种二进制图神经网络的高效推理后端的重新设计，旨在充分地发挥加速器硬件性能潜力；在实际图形中，使用 GCNs、GraphSAGE 和 GraphSAINT 的结果表明，使用相同的精度，所提出的技术比最先进的二进制 GNN 实现快 8-22 倍。

    May, 2023

  • MeliusNet: 二进制神经网络能达到 MobileNet 的准确性吗？

    本文提出了一种新的二进制神经网络构架 MeliusNet，采用 “密集块 + 改进块” 交替的方式可以增加特征容量和特征质量，通过在 ImageNet 数据集上的实验，证明了该构架可以在操作数、精度以及计算效率上大幅提高，代码已公开发布。

    Jan, 2020

  • 贝叶斯优化的 1 比特卷积神经网络

    提出一种新颖的方法，名为 Bayesian optimized 1-bit CNNs（简称 BONNs），利用贝叶斯优化后的 1-bit CNNs 极大程度地改善了其性能，能够在资源受限的环境中获得最佳分类性能，尤其在 ImageNet 上。

    Aug, 2019

  • 量子化神经网络的简化部署

    本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力，并提供了一个比特串矩阵乘法库。

    Sep, 2017

  • BMXNet: 一种基于 MXNet 的开源二值神经网络实现

    该研究介绍了一个基于 MXNet 的开源 BNN 库 BMXNet，可在 GPU 和 CPU 模式下工作，并支持 XNOR-Networks 和 Quantized Neural Networks，旨在通过二进制运算显著减少内存大小和访问，提高 Deep Learning 模型在低功耗设备上的效率和降低能量消耗，经过广泛的实验验证了其实现的高效性和有效性。

    May, 2017