IJCAIMay, 2020

CDC: 基于分类的压缩技术，用于高效利用边缘 - 云协作深度学习的带宽

PDF
TL;DR该篇论文介绍一种基于深度学习的分类驱动压缩框架，用于边缘计算和云计算的协同训练，可以在降低带宽消耗的同时，保持分类准确性，经过大量实验验证，和原始数据相比，该框架可以减少 14.9 倍的带宽消耗，且准确率不低于 1.06%.
发现论文，激发创造
  • 基于原则的分层深度学习方法用于联合图像压缩和分类

    通过三步联合学习策略，将编码器引导为具有紧凑性、有辨识力的特征，以低频带宽要求传递高分类准确性的特征信息，并通过基于熵的量化和 / 或手动截断实现可调的比特率。

    Oct, 2023

  • 面向资源受限的边缘计算系统的受监督压缩

    本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

    Aug, 2021

  • 学习的点云压缩用于分类

    基于 PointNet 的新型点云编解码器，在机器任务分类中实现了更好的速率 - 准确性平衡，相对于非专用编解码器在 ModelNet40 数据集上达到了 94% 的降低 BD 比特率。对于低资源终端设备，我们提出了两种轻量级编码器配置，在 BD 比特率降低 93% 和 92% 的同时，仅消耗了 0.470 和 0.048 的编码器端 kMACs / 点，并降低了 3% 和 5% 的 top-1 准确率，为今后更复杂的任务和数据集提供了专用编解码器的潜力和基础。

    Aug, 2023

  • 深度梯度压缩：降低分布式训练的通信带宽

    本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

    Dec, 2017

  • 神经图像压缩的带宽有效推理

    我们提出了一种端到端可微分的带宽高效神经推理方法，通过神经数据压缩方法对激活进行压缩，可实现高达 19 倍的带宽减少和 6.21 倍的能量节省。

    Sep, 2023

  • 基于深度特征的几乎无损压缩在协作智能中的应用

    研究合作智能的新范式，提出了一种简单有效的接近无损的深度特征压缩器，在移动和云端之间分配网络以最小化系统的总能耗和 / 或延迟，同时探讨深度特征数据与自然图像数据之间的差异，并建议从压缩的深层特征中重建输入图像的方法，以补充深度模型所执行的推断。

    Apr, 2018

  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017

  • AdaDeep: 一种面向应用的、自动化的深度模型压缩框架，以实现普适智能移动

    AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

    Jun, 2020

  • 协作智能的神经网络特征张量轻量化压缩

    本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

    May, 2021

  • 增强学习图像压缩的通道特征去相关

    通过充分利用现有的深度神经网络容量，本研究提出了一种改进压缩的方法，通过引导潜在特征学习更丰富和多样化的特征来实现更好的重构效果，并将通道相关的特征去相关损失集成到优化过程中，实验证明该方法在两种传统压缩方法上提高了压缩性能，没有增加额外的复杂性，可以作为类似方法的即插即用的优化方案。

    Mar, 2024