深度特征压缩用于协同目标检测
研究合作智能的新范式,提出了一种简单有效的接近无损的深度特征压缩器,在移动和云端之间分配网络以最小化系统的总能耗和 / 或延迟,同时探讨深度特征数据与自然图像数据之间的差异,并建议从压缩的深层特征中重建输入图像的方法,以补充深度模型所执行的推断。
Apr, 2018
在此研究中,作者介绍了一种新的损失函数,旨在促进 feature 的可压缩性,而不会牺牲多个任务的系统性能,作者称之为压缩友好的丢失函数,实验结果显示,使用这种丢失函数,可以实现约 20%的比特率降低。
Feb, 2019
本文提出了一种新的协作智能友好型架构,通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量,使得在 ResNet-50 模型上,相比现有的云端计算方法,端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍,而精度损失不到 2%。
Feb, 2019
本研究旨在通过利用知识蒸馏和神经图像压缩的思想,采用先进的监督压缩方法,使用带有随机瓶颈的教师模型和学生模型,以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较,并发现我们的方法在保持端到端时延更小的情况下,实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。
Aug, 2021
本研究介绍了一种轻量级的压缩技术,用于在边缘设备上进行代码的分割,仅针对深度神经网络中的激活,而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时,能够将 32 位浮点激活压缩到 0.6 至 0.8 位,同时保持精度损失不到 1%。
May, 2021
本研究提出了一种名为 adaComp 的新算法,结合了梯度选择和学习率调节,在分布式深度学习计算中实现了 worker 更新模型数据压缩,通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验,并报告相对于标准异步随机梯度下降,在保持模型精度的同时,将工人发送到服务器的总数据量减少了两个数量级(例如,在 MNIST 数据集上的卷积网络中,减少了 191 倍)
Feb, 2017
本研究专注于利用模型压缩技术,如剪枝和知识蒸馏,将预先训练的计算机视觉模型的复杂性和参数总数降低,从而在无法访问边缘基础设施时允许在移动机器人上执行这些任务。结果表明,可以删除计算机视觉模型总参数的 90%,而不会显着降低模型的准确性。
Jul, 2022
本文概述了高效深度学习的方法、系统和应用,包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练,以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。
Apr, 2022
通过适用于边缘云资源的自适应压缩感知裂化学习方法,我们可以改善和训练深度学习模型,使其在网络上更加高效,并通过变换学习方法扩展训练,以换取更高效的推理能力,而不损失准确性。
Nov, 2023