NIPSDec, 2017

移动设备上高性能超低精度卷积

PDF
TL;DR通过对 ARMv7 设备上现代深度学习工作负载所需的核心基本操作进行开源实现和全面分析，我们展示了与现有市场上的 float32 和 int8 基准相比，使用大于 4 位精度的最先进的超低精度技术可获得 4 倍至 20 倍的加速度。
发现论文，激发创造
  • DeepliteRT：边缘计算机视觉

    该研究论文通过在 ARM 设备上实现高度优化的超低位卷积运算符，结合 Deeplite Runtime 编译，调优和推断框架，将深度学习模型以超低位表示轻松部署在物美价廉的硬件上，实现边缘设备的深度学习应用加速。

    Sep, 2023

  • 采用超低比特量化和运行时技术加速在 Arm CPU 上的深度学习模型推理

    介绍了 Deeplite Neutrino 以及 Deeplite Runtime 来优化深度学习模型，并在 Arm-based 平台上部署超低比特量化模型。使用向量化，并行化和瓦片化高效实现，这些实现与 TensorFlow Lite 比较，分类和检测模型的速度提高了 2 倍和 2.2 倍，与 ONNX Runtime 比较，分类和检测模型的速度提高了 5 倍和 3.2 倍。

    Jul, 2022

  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 基于模型修剪和编译器优化在移动平台上实现实时 DNN 推理

    本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

    Apr, 2020

  • CNNdroid：在安卓上利用 GPU 加速执行已训练的深度卷积神经网络

    介绍了一个基于 GPU 加速的开源库 CNNdroid，可以在 Android 设备上执行训练好的深度卷积神经网络，并实现了高达 60 倍的加速和 130 倍的能量节省。

    Nov, 2015

  • 使用移动 GPU 进行设备端神经网络推断

    本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

    Jul, 2019

  • 低精度和稀疏性加速深度卷积网络

    本研究旨在通过采用极低精度（2 位）权重网络，并在零值上进行操作跳过以提高计算效率和性能，以在低精度网络下获得更高精度。实验结果表明，与全精度网络相比，在并非影响相似准确度的情况下，计算需求降低了约 3 倍，且在 Imagenet 物体分类挑战上取得了最高报道准确度。为了充分利用低精度网络优势，研究小组开发了一种深度学习加速器核心 dLAC，可实现每平方毫米单精度浮点运算的 TFLOP 当量，半精度时可达到每平方毫米的 2 个 TFLOP。

    Oct, 2016

  • 移动设备上的深度学习 - 综述

    本文综述了移动设备上深度学习的研究进展，包括算法、硬件架构、感知模态等技术的最新发展，以及对应的工具、应用和挑战。

    Mar, 2019

  • 混合专家混合精度神经网络的调优

    通过添加新的数据类型到 Caffe，增加了现有商品电子设备上深度学习推断速度，在某些设备上，内存使用量可以降低到 3.29 倍，推断速度可以提高到 3.01 倍，并提出了一种混合专家模型的变化来增加图像分类中的推断速度。

    Sep, 2022

  • 深度神经网络的降低精度浮点数优化：在微控制器上进行设备端学习

    本文提出了一种降低 MCU 类设备上计算量的新型优化技术，使用支持矢量化 16 位浮点 SIMD 操作的 RISC-V RV32 架构，加速了前向和后向传递算法，其计算效率比现有 ODL 软件框架快两个数量级，并且在持续学习设置中比以前的 FP32 并行实现快 1.6 倍。

    May, 2023