Feb, 2023

FrankenSplit: 基于显著性引导的神经特征压缩与浅层变分瓶颈注入

PDF
TL;DR本文提出了一种面向资源的压缩模型框架，旨在提高机器解释性能，解决边缘设备和服务器之间资源分配不对称的问题，实验结果表明，相比现有的编解码标准任务，本方法可以获得 60％的比特率降低，同时不降低准确性，并可以比离线处理快 16 倍。
发现论文，激发创造
  • 协作智能的神经网络特征张量轻量化压缩

    本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

    May, 2021

  • 面向资源受限的边缘计算系统的受监督压缩

    本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

    Aug, 2021

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 改进的贝叶斯压缩

    本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

    Nov, 2017

  • BottleNet++：设备 - 边缘合作推理系统中特征压缩的端到端方法

    BottleNet++ 是一种面向资源受限的移动设备的深度学习模型压缩和传输方法，使用 CNN 实现双向通信的联合源 - 信道编码，能够实现高达 64 倍的带宽降低和 256 倍的位压缩率，并能以小于 2% 的准确性损失实现高效率的模型拆分和端侧推理。

    Oct, 2019

  • 利用变分信息瓶颈压缩神经网络

    该论文研究了如何通过修剪神经元、信息瓶颈和稀疏正则化等方式来压缩神经网络模型，提高模型的精度和运行效率。在多个数据集和网络架构中展示了最先进的压缩率。

    Feb, 2018

  • 浅层解码器的非对称神经图像压缩

    本文采用浅层甚至线性解码变换的方法来缩短神经图像压缩的解码复杂度，并通过加强编码器网络和迭代编码来提高压缩性能与解码复杂度之间的平衡，从而实现与传统 ME-Scale 超先验结构相当的失真压缩性能，同时将总解码复杂度降低 80％。

    Apr, 2023

  • 神经图像压缩的带宽有效推理

    我们提出了一种端到端可微分的带宽高效神经推理方法，通过神经数据压缩方法对激活进行压缩，可实现高达 19 倍的带宽减少和 6.21 倍的能量节省。

    Sep, 2023

  • 模型压缩的结构化多哈希技术

    本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

    Nov, 2019

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017