Jun, 2017

使用压缩 - 评论框架压缩深度感知系统的深度神经网络结构

PDF
TL;DRDeepIoT 是一种压缩神经网络的解决方案，它通过找到每个层所需的最小数量的非冗余隐藏元素，将神经网络结构压缩成更小的密集矩阵，同时保持感知应用程序的性能。在 Intel Edison 设备上的五个不同的感知相关任务中进行实验，DeepIoT 在执行时间和能源消耗方面优于所有比较的基线算法，而不会损失准确性。
发现论文，激发创造
  • 深度神经网络压缩调研：挑战，概述和解决方案

    该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

    Oct, 2020

  • AdaDeep: 一种面向应用的、自动化的深度模型压缩框架，以实现普适智能移动

    AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

    Jun, 2020

  • 物联网作为深度神经网络

    本文研究了如何通过深度神经网络的测量压缩和推理，实现 IoT 数据通信的有效率，并在实验中取得了 96% 的数据传输量节省和 2.5% 推理准确度下降的成果。

    Mar, 2020

  • 移动设备上的深度学习：方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

    Apr, 2022

  • DeepN-JPEG：一种基于 JPEG 的深度神经网络有利的图像压缩框架

    本研究开发了一种基于人类视觉和深层神经网络架构的图像压缩框架 DeepN-JPEG 来降低智能物联网系统中数据存储和传输开销，并通过实验证明该方法能够在保持图像识别准确性的同时，实现高达 JPEG 的 3.5 倍的压缩率，具有在基于 DNN 智能物联网系统设计中提升存储和能量效率的巨大潜力。

    Mar, 2018

  • 协作智能的神经网络特征张量轻量化压缩

    本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

    May, 2021

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 动态提前退出预测编码神经网络

    借鉴人脑的高效率和低功耗，本文提出了一种基于预测编码理论和动态提前终止的浅双向网络，以加入硬件有限资源在设计过程中，实现在 CIFAR-10 图像分类上与 VGG-16 相当准确率的结果，使用更少的参数和较低的计算复杂度。

    Sep, 2023

  • 深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

    该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

    Oct, 2015

  • 面向资源受限的边缘计算系统的受监督压缩

    本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

    Aug, 2021