Oct, 2023

基于时序约束的自适应图像卸载的渐进神经压缩

PDF
TL;DR通过训练多目标的无限编码器以优化多个压缩比率，并根据可用带宽传输以提高推理性能，提出了一种自适应方法来解决物联网设备资源约束和时间约束下机器学习应用推理性能的问题。
iot devicesmachine learningedge serversadaptive approachneural compression
发现论文，激发创造
  • 面向资源受限的边缘计算系统的受监督压缩

    本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

    Aug, 2021

  • 动态带宽下的任务感知分布式源编码

    该研究利用名为 NDPCA 的分布式压缩框架，将来自多个传感器的数据有效地压缩到任何可用带宽，以提高多视图机械臂操作和卫星图像目标检测成功率。

    May, 2023

  • 神经图像压缩的带宽有效推理

    我们提出了一种端到端可微分的带宽高效神经推理方法，通过神经数据压缩方法对激活进行压缩，可实现高达 19 倍的带宽减少和 6.21 倍的能量节省。

    Sep, 2023

  • 计算效率高的神经图像压缩

    通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

    Dec, 2019

  • 深度神经网络在线压缩

    本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

    Sep, 2015

  • 机器端到端优化的图像压缩研究

    本文提出了一种基于神经网络的编解码及任务模型的联合训练方法，用于实现远程机器任务分析的图像压缩，研究表明，进行编解码和任务网络的联合优化可以显著提高任务准确性，在训练和部署的限制下，可以选择性地进行编码器、解码器或任务网络的微调，并仍然实现高于现成解决方案的速率和准确度。

    Nov, 2020

  • 联合分层先验与自适应空间分辨率用于高效神经图像压缩

    该研究提出了一种改进的变压器 (Transformers) 自回归先验模型及 ConvNeXt-based 预 / 后处理器，并将其应用于图像压缩，提高了压缩效率和解码复杂度的权衡。

    Jul, 2023

  • 可压缩特征的端到端学习

    为了解决传统基于信息熵的无损压缩方法在降维时效果不佳的问题，本文提出了一种基于学习的方法，可以同时优化特征的可压缩性和任务目标，从而生产一个更具压缩性的特征，同时提高其准确性。

    Jul, 2020

  • 基于图强化学习的自编码器的多接入边缘计算中用于 CNN 推理的动态语义压缩

    本研究针对动态多接入边缘计算网络中的 CNN 推理进行计算卸载的研究，提出了一种新颖的语义压缩方法 AECNN，通过自编码器构建的 CNN 架构，在部分卸载中进行有效的语义提取和压缩，并通过图强化学习的方法 GRL-AECNN 解决卸载问题，具有优于现有方法的性能。

    Jan, 2024

  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017