CVPRMar, 2022

边缘深度神经网络的更新压缩技术

PDF
TL;DR本文研究了在边缘设备上重新训练深度神经网络的应用，并提出了一种基于矩阵分解的简单方法来压缩模型更新，以最小限度地传输数据，该方法与联邦学习类似，但一般来说，比现有方法需要的更新数据量少一半以上。
artificial intelligencedeep neural networksretrainingedge devicesmatrix factorisation
发现论文，激发创造
  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017

  • 通过过滤器剪枝和知识迁移在边缘设备上实现深度学习

    本文提出了一种在资源受限设备上部署和训练最先进模型的新解决方案，其中包括通过一种基于滤波修剪的模型压缩方法创造轻量级可训练模型，以及一种新型知识转移方法，允许在设备上的模型实时增量更新，并以无监督的方式通过云端模型学习新的类别。实验结果表明，该新方法可以在保持良好准确率的同时移除高达 99.36％的模型参数，并且允许在设备上的压缩模型在实时内收敛于增量学习任务并识别未见过的数据类别。

    Jan, 2022

  • 面向资源受限的边缘计算系统的受监督压缩

    本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

    Aug, 2021

  • 网络边缘的深度学习架构

    通过适用于边缘云资源的自适应压缩感知裂化学习方法，我们可以改善和训练深度学习模型，使其在网络上更加高效，并通过变换学习方法扩展训练，以换取更高效的推理能力，而不损失准确性。

    Nov, 2023

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 深度神经网络压缩调研：挑战，概述和解决方案

    该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

    Oct, 2020

  • 现在我能看到，我能改进：在边缘使 CNN 的数据驱动微调成为可能

    本文提供基于结构剪枝的边缘设备上的 CNN 微调方法，旨在提高模型精度和降低计算和存储性能消耗。结果表明，数据感知的剪枝和重新训练可以在各种子集，网络和剪枝级别上提供 10.2pp 的精度提高。

    Jun, 2020

  • 移动设备上的深度学习：方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

    Apr, 2022

  • 深度部分更新：用于设备端推理的通信高效更新

    本文提出了一种新的权重部分更新方法，通过分析损失差异上限来智能选择每个服务器与远程边缘节点通信轮次中要更新的少量权重，从而实现与完全更新相似的性能，可应用于新兴的边缘智能应用。实验结果表明，在更新数量较少的情况下实现了高的推理准确性。

    Jul, 2020

  • 利用可压特征进行协同智能的多任务学习

    在此研究中，作者介绍了一种新的损失函数，旨在促进 feature 的可压缩性，而不会牺牲多个任务的系统性能，作者称之为压缩友好的丢失函数，实验结果显示，使用这种丢失函数，可以实现约 20％的比特率降低。

    Feb, 2019