Aug, 2023

敏感性感知的混合精度量化和宽度优化：通过基于聚类的树结构 Parzen 估计实现深度神经网络的优化

PDF
TL;DR通过引入创新的搜索机制，基于深度学习模型的优化方法，在神经网络设计方面取得了重要突破。该方法有效选择了每个神经网络层的最佳比特宽度和层宽，提高了深度神经网络的效率。通过采用基于 Hessian 的修剪方法来减少搜索空间，并利用基于聚类的树状 Parzen 估计器构建代理模型，对各种架构进行快速的探索和定位。在多个数据集上的严格测试表明，该方法相对于现有方法具有明显的优势，模型大小减少了 20% 且准确度不降低。相较于现有的最佳搜索策略，该方法的搜索时间减少了 12 倍。因此，该方法为神经网络设计优化提供了快速、高效的解决方案，推动了可扩展深度学习解决方案的潜力。
neural networkoptimization methodsdeep learningmodel designsearch strategies
发现论文，激发创造
  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024

  • 深度神经网络自适应量化

    本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

    Dec, 2017

  • 卷积神经网络滤波器级别异构压缩学习

    该研究使用神经架构搜索技术将优选算术位宽分配和网络剪枝问题制定为通过搜索满足计算复杂性预算并最大化准确性的配置的神经架构搜索问题，旨在减少计算时间开支。

    Apr, 2019

  • 硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化

    通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

    Dec, 2023

  • 自由比特：边缘上混合精度量化神经网络的延迟优化

    该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在具有不同硬件特性的多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

    Jul, 2023

  • 用于粒子探测器边缘低延迟推断的深度神经网络自动异构量化

    本文介绍了一种利用分层、分参数类型的自动量化过程来设计深度神经网络模型的方法，旨在使模型能够在芯片上进行高精度、纳秒级推理和完全自动化部署。这对于 CERN 大型强子对撞机中的事件选择过程至关重要，其中资源严格限制，需要一种纳秒级的推理和降低 50 倍的资源消耗。

    Jun, 2020

  • 通过约束优化实现神经网络混合精度量化

    采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在 ImageNet 数据集和各种网络体系结构上得出了比现有方法更优的结果。

    Oct, 2021

  • 高效神经压缩与推理时间解码

    通过混合精度量化、零点量化和熵编码将 Resnets 的压缩边界推进到 1 位以外，在 ImageNet 基准测试中准确度下降不超过 1%。

    Jun, 2024

  • 混合精度神经网络综述

    本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。

    Aug, 2022

  • 一次性权重耦合学习的无需重新训练的模型量化

    通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

    Jan, 2024