Feb, 2018

移动设备模型压缩和加速的 AutoML

PDF
TL;DR本文介绍了使用强化学习算法构建的自动化神经网络模型压缩方法 ——AutoML for Model Compression（AMC），该方法在保持模型准确性的同时，相较于传统的基于规则的压缩方法，具有更高的压缩比，从而实现了在性能和精度之间的最优平衡，并将此方法成功应用于 MobileNet 优化。
model compressionneural networkautomlreinforcement learningcompression pipeline
发现论文，激发创造
  • AutoMC：基于领域知识和渐进搜索策略的自动模型压缩

    本研究提出了一种名为 AutoMC 的自动工具，用于模型压缩，通过建立模型压缩领域的专业知识，结合历史评估信息，采用渐进式搜索策略探索 pareto 最优压缩方案，并在短时间内提供令人满意的压缩方案。

    Jan, 2022

  • 神经网络剪枝的自动图编码器解码器

    本文介绍了一种基于图神经网络和强化学习的自动压缩深度神经网络的方法，与手工规则的方法相比较具有更好的性能和更高的压缩比，通过多组实验验证了本方法的有效性。

    Nov, 2020

  • 边缘高效的深度学习模型用于自动调制分类：性能分析

    深度学习在自动调制分类方面的最近进展鼓舞了许多可能应用于资源受限的边缘设备上的无线信号处理，本文通过对三种最常用的模型优化技术（剪枝、量化和知识蒸馏）进行了深入研究，提出了优化的卷积神经网络结构以实现自动调制分类。实验结果表明，所提出的单独和结合的优化技术对于以显著较小的复杂性开发模型，并在减少参数的同时维持或提高分类性能方面是非常有效的。

    Apr, 2024

  • 面向资源受限移动机器人的模型压缩

    本研究专注于利用模型压缩技术，如剪枝和知识蒸馏，将预先训练的计算机视觉模型的复杂性和参数总数降低，从而在无法访问边缘基础设施时允许在移动机器人上执行这些任务。结果表明，可以删除计算机视觉模型总参数的 90％，而不会显着降低模型的准确性。

    Jul, 2022

  • 实践中的模型压缩：从实践者那里学到的在设备上创建机器学习体验的教训

    在设备上的机器学习（ML）通过将 ML 计算移至日常个人设备，提供了改善隐私、响应性和新型智能用户体验的可能性。本文通过与苹果的 30 位专注于高效模型开发的专家进行的访谈研究，整理了专家在模型压缩方面通过实际经验所积累的知识，提供了实用的设计过程、权衡和技术策略，旨在将该领域更广泛地引入人类中心的 ML 社区，并给出了相应的设计建议以帮助简化这项工作的难度，推广在设备上进行的 ML 应用。

    Oct, 2023

  • 具有对抗性鲁棒性的模型压缩：一个统一优化框架

    通过 Adversarially Trained Model Compression (ATMC) 框架，将剪枝、因子分解和量化等现有压缩方法整合到一个受约束的优化公式中，实现了在保持模型准确性和鲁棒性的前提下，获得更好的模型尺寸和准确性折衷。

    Feb, 2019

  • AdaDeep: 一种面向应用的、自动化的深度模型压缩框架，以实现普适智能移动

    AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

    Jun, 2020

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 移动设备上的深度学习：方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

    Apr, 2022

  • 通过两阶段深度强化学习进行深度模型压缩

    本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

    Dec, 2019