Aug, 2021

面向资源受限的边缘计算系统的受监督压缩

PDF
TL;DR本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。
deep learninglow-power devicesneural network compressionsupervised compressionknowledge distillation
发现论文，激发创造
  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017

  • 深度特征压缩用于协同目标检测

    本论文探讨了在移动设备和云端之间进行特征数据通讯的 “协作智能” 范式，研究了损失压缩特征数据对协作物体检测准确性的影响，并提出了一种策略来提高其在损失特征压缩下的准确性。实验结果表明，采用该策略，通信开销可以降低 70％而不会牺牲准确性。

    Feb, 2018

  • 网络边缘的深度学习架构

    通过适用于边缘云资源的自适应压缩感知裂化学习方法，我们可以改善和训练深度学习模型，使其在网络上更加高效，并通过变换学习方法扩展训练，以换取更高效的推理能力，而不损失准确性。

    Nov, 2023

  • 面向资源受限移动机器人的模型压缩

    本研究专注于利用模型压缩技术，如剪枝和知识蒸馏，将预先训练的计算机视觉模型的复杂性和参数总数降低，从而在无法访问边缘基础设施时允许在移动机器人上执行这些任务。结果表明，可以删除计算机视觉模型总参数的 90％，而不会显着降低模型的准确性。

    Jul, 2022

  • 利用可压特征进行协同智能的多任务学习

    在此研究中，作者介绍了一种新的损失函数，旨在促进 feature 的可压缩性，而不会牺牲多个任务的系统性能，作者称之为压缩友好的丢失函数，实验结果显示，使用这种丢失函数，可以实现约 20％的比特率降低。

    Feb, 2019

  • 基于深度特征的几乎无损压缩在协作智能中的应用

    研究合作智能的新范式，提出了一种简单有效的接近无损的深度特征压缩器，在移动和云端之间分配网络以最小化系统的总能耗和 / 或延迟，同时探讨深度特征数据与自然图像数据之间的差异，并建议从压缩的深层特征中重建输入图像的方法，以补充深度模型所执行的推断。

    Apr, 2018

  • 协作智能的神经网络特征张量轻量化压缩

    本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

    May, 2021

  • 深度模型压缩：从带噪声的教师中提取知识

    本研究通过引入基于噪声的正则项对深度学习模型压缩中的教师 - 学生框架进行扩展，以解决模型存储大小、运行时复杂度和训练时复杂度等问题，实验结果在 CIFAR-10 数据集上表现最佳，表明该方法在深度模型压缩方面有潜力。

    Oct, 2016

  • 对抗性网络压缩

    本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

    Mar, 2018

  • 深度神经网络压缩调研：挑战，概述和解决方案

    该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

    Oct, 2020