Dec, 2022

头部姿态估计多输出回归模型增强边缘推断的参数选择比较研究

PDF
TL;DR本研究采用基于幅值的修剪技术来对深度学习模型进行优化，以适应边缘推理的需求，我们成功地将头部姿态估计的多输出回归模型的模型大小优化了 75% 以上，并取得了比原模型更高的精度。
发现论文，激发创造
  • 基于相关性和数量级的资源感知 DNN 剪枝

    提出了一种名为 FlexRel 的新型修剪方法，通过结合训练时间和推理时间信息，即参数大小和相关性，来提高准确性，并节省计算资源和带宽。性能评估表明，FlexRel 能够实现更高的修剪因子，为典型准确性目标节省超过 35％的带宽。

    May, 2024

  • 运动剪枝：通过微调实现自适应稀疏性

    本文提出一种基于移动修剪的权重修剪方法，相比于纯监督学习中使用的幅度修剪方法，更适用于预训练模型微调，实验证明在高稀疏度下，此方法对预训练语言模型的剪枝效果更好，结合蒸馏技术最大程度地减小模型参数，同时保持模型准确率。

    May, 2020

  • Lookahead：基于远见的修剪的替代方法

    本研究提出了一种名为预见性剪枝的简单剪枝方法，通过将单层优化扩展到多层优化，预见性剪枝在各种网络中表现良好，特别是在高稀疏度情况下，优于基于幅度的剪枝。

    Feb, 2020

  • 具有拓扑一致剪枝的小型图卷积网络

    本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。

    Jun, 2023

  • 塑造效率：为设备推理修剪医学图像模型

    应用机器学习进展于医疗可以改善患者结果，但是模型操作复杂性、遗留硬件和多模态千兆像素图像等问题限制了实时、设备内推理的部署。我们考虑滤波剪枝作为解决方案，在心脏病学和眼科学中探索分割模型。我们的初步结果显示最高可达 1148 倍的压缩率，质量损失最小，强调使用现成模型时应考虑任务复杂性和架构细节。在高压缩率下，滤波剪枝模型在 CPU 上比 GPU 基准具有更快的推理速度。我们还证明了这些模型的鲁棒性和泛化特性超过了基准和权重剪枝对照组。我们揭示了引人深思的问题，迈出了实现经济有效的疾病诊断、监测和预防解决方案的一步。

    Sep, 2023

  • 初始化时的鲁棒剪枝

    深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

    Feb, 2020

  • 利用概率形态剪枝进行预算感知的图卷积网络设计

    本文介绍了一种新的轻量级 GCN 设计：概率幅值剪枝 (PMP)，该方法通过联合训练网络拓扑和权重，通过对齐已知先验分布的权重分布来实现任何固定剪枝率，以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时，本文进行了大量的实验证明，轻量级 GCN 在非常高的剪枝基准下有显着的性能提升。

    May, 2023

  • 基于互信息的逐层模型剪枝

    该论文提出的修剪策略通过从更全局的角度运作，基于顶层训练信号逐层传播全局信号，从而在相同稀疏度水平下获得更高的性能和更大的加速，避免了权重基础剪枝技术中的内存访问不规则性。

    Aug, 2021

  • 防止成员推断攻击：只需修剪

    通过剪枝实现减少模型存储和计算操作，防止 Deep Learning 或 Deep Neural Networks (DNNs) 的隐私泄露，提高 DNNs 的抗干扰性和准确性

    Aug, 2020

  • PDP: 无需参数的可导修剪就是你所需的

    提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning（PDP），可适用于各种视觉和自然语言任务，支持无结构裁剪约束，基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。

    May, 2023