Jun, 2024

DELLA-Merging: 通过基于大小的抽样减少模型合并中的干扰

PDF
TL;DR利用一种新的模型合并技术 DELLA-Merging，它采用了一种名为 MAGPRUNE 的修剪技术，通过首先按照参数的大小对其进行排名并给较小的参数分配更高的丢弃概率 (p)，接着在随机丢弃的参数上通过缩放操作近似原始嵌入。在三种不同的专家模型和相应的基准数据集上，DELLA 相较于基线方法（delta 参数修剪）平均提升了 2.4 个点（相较于 TIES 提升了 3.6 个点，相较于 DARE 提升了 1.2 个点），相较于无修剪的基线方法（TA）提升了 11.1 个点。
发现论文，激发创造
  • DPPA: 大型语言模型的修剪方法以模拟合并

    通过提出动态修剪分区增强（DPPA）的双阶段方法，本文解决了合并复杂精调模型的挑战，该方法将动态修剪和动态分割放大两种策略相结合，实验结果表明，该方法在保留少于 20% 的特定领域参数的同时，表现与保留 90% 参数的其他方法相媲美，并且在模型合并中表现优异，性能提升将近 20%。

    Mar, 2024

  • 基于相关性和数量级的资源感知 DNN 剪枝

    提出了一种名为 FlexRel 的新型修剪方法，通过结合训练时间和推理时间信息，即参数大小和相关性，来提高准确性，并节省计算资源和带宽。性能评估表明，FlexRel 能够实现更高的修剪因子，为典型准确性目标节省超过 35％的带宽。

    May, 2024

  • 基于幅度剪枝的层自适应稀疏化

    这篇论文针对神经网络修剪方法提出一种基于重要性分数的全局修剪方法（LAMP），不需要人工调参或加重的计算，使用在图像分类任务上表现出优于现有算法的效果。

    Oct, 2020

  • 合并模型时解决干扰

    本文提出 TrIm 方法，即 Elect Sign & Merge (TIES-Merging) 方法，用于多任务模型的合并，该方法解决了现有合并方法忽略不同模型参数之间干扰，从而导致性能下降的问题。在多种不同情境下的实验中，本方法都表现优异，证明了解决符号干扰的重要性。

    Jun, 2023

  • 基于稀疏矩阵草图的剪枝基于幅度的泛化界限

    本文基于 Arora 等人的研究，在获得有效率的 Magnitude-Based 压缩算法的基础上，针对神经网络进行剪枝和误差边界研究，并通过迭代剪枝算法在 MNIST 和 CIFAR10 数据集上进行了实验验证。

    May, 2023

  • 头部姿态估计多输出回归模型增强边缘推断的参数选择比较研究

    本研究采用基于幅值的修剪技术来对深度学习模型进行优化，以适应边缘推理的需求，我们成功地将头部姿态估计的多输出回归模型的模型大小优化了 75% 以上，并取得了比原模型更高的精度。

    Dec, 2022

  • PERP: 重新思考 LLM 时代的修剪再训练范式

    通过修剪来高效地压缩神经网络，减少存储和计算需求，同时保持预测性能，我们提出了一种参数高效的修剪后重训练方法，使得修剪和重训练大规模语言模型的任务成为可能。

    Dec, 2023

  • SWAMP: 迭代幅值削减的多粒子稀疏权重平均

    本文提出一种基于迭代幅值修剪 (Iterative Magnitude Pruning, IMP) 算法的改进方法 Sparse Weight Averaging with Multiple Particles (SWAMP)，通过同时训练多个稀疏模型，利用加权平均的方式获得更好的泛化表现，该方法相比于现有基线方法在不同稀疏度下表现更优。

    May, 2023

  • 基于幅度注意力的动态剪枝

    本文提出了一种新颖的动态裁剪方法，称之为基于数量级注意力的动态裁剪 (MAP) 方法，该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构，可以在更高效的情况下实现密集模型的性能，并且在 CIFAR-10/100 和 ImageNet 数据集上的表现比以前的裁剪方法更好。

    Jun, 2023

  • 稀疏模型汤：通过模型平均实现剪枝改进的配方

    本文介绍了一种稀疏神经网络模型的组合方法，称为稀疏模型汤。该方法使用迭代剪枝技术，通过在众多超参数配置中重新训练模型以获得相同的稀疏性，从而使得多个稀疏模型之间的参数能够平均并且相容，从而增强了这些模型的泛化能力。

    Jun, 2023