Dec, 2022

基于 Stein 变分推断的高效无分布损失网络剪枝

PDF
TL;DR本文提出了一种名为 DLLP 的新型网络剪枝方法，使用 Stein 变分推理和蒙特卡罗采样来避免对未知分布计算 KL 散度，该方法可以在不损失模型精度的情况下削减模型大小并提高通用性能。
network pruningresource-limited devicesdllpstein variational inferencegeneralization performance
发现论文，激发创造
  • 重新思考网络剪枝的价值

    本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

    Oct, 2018

  • 大规模语言模型的优化结构裁剪方法

    基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

    Jun, 2024

  • 使用内部蒸馏的背包修剪

    本研究提出了一种基于背包问题和内部知识蒸馏的神经网络剪枝方法，该方法能够在优化被剪枝网络的最终准确性的同时，从过度参数化的母网络的内部层中提取知识，并使用块分组方法来处理复杂的网络结构。该方法在 ImageNet、CIFAR-10 和 CIFAR-100 数据集上都取得了 state-of-the-art 的准确率表现，并且能够产生与 EfficientNet-B0、MobileNetV3 相同 FLOPs 但更高准确率的网络结构。

    Feb, 2020

  • 标签噪声下量化彩票：准确性，校准和复杂度

    本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

    Jun, 2023

  • 迭代基于激活的结构化剪枝

    本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。

    Jan, 2022

  • 大规模语言模型的高效剪枝与自适应推理融合

    用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了 1.1％，1.02％，2.0％和 1.2％。

    Mar, 2024

  • 扩散模型的结构剪枝

    通过在预先训练的扩散模型上进行 Taylor 展开来识别重要的权重，我们提出了 Diff-Pruning 方法，该方法可以高效压缩 diffusion 模型，实现训练和推断过程中 50% 左右的 FLOPs 降低，同时保持与原模型相当的生成行为。

    May, 2023

  • 蒸馏修剪：使用合成数据赢得彩票

    利用精炼数据来修剪深度学习模型的新方法，通过捕捉精髓模式并利用其能力实现资源高效的神经网络修剪、模型压缩和神经架构搜索。

    Jul, 2023

  • 通过极端稀疏化物理约束神经网络模型，提高斯坦变分推理的性能

    科学机器学习的应用中，$L_0$ 稀疏化优于直接应用 Stein 变分梯度下降 (SGVD) 或投影 SGVD 方法，具有更好的鲁棒性、计算效率和性能，并且在噪声环境、外推区域以及收敛速度方面表现出卓越优势。

    Jun, 2024

  • 初始化时剪枝的信息论障碍

    彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。通过对彩票模型的理论解释，揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据。研究证实了训练过程中获取的信息可以影响模型容量。

    Feb, 2024