structured pruning | BriefGPT

关键词structured pruning

搜索结果 - 68

BMRS：结构化剪枝的贝叶斯模型简化
基于贝叶斯模型缩减技术的结构化剪枝方法可以在保持高压缩率和准确性的同时，提高神经网络的计算和能量效率。
PDFa month ago
基于脉冲活动修剪的高效深度脉冲神经网络构建
基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。
PDFa month ago
通过结构化剪枝在初始化时快速部署边缘计算中的 DNN
利用结构化剪枝技术，Reconvene 系统可快速生成适用于边缘部署的经剪枝模型，大小减小了 16.21 倍，速度加快 2 倍，同时保持与未经剪枝的模型相同的准确性。
PDF2 months ago
CVPRLD-Pruner：使用任务无关见解高效修剪潜在扩散模型
通过利用潜在空间进行剪枝过程，LD-Pruner 方法旨在提供用于压缩 LDMs 的有效性评估模型性能的方法，从而减少训练的高计算成本和提高推理速度。
PDF2 months ago
LoRAP：大型语言模型的 Transformer 子层应采用差异化结构压缩
本研究提出了一种混合压缩模型 LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了 Transformer 模型中 Multi-Head Self-Attention 子层的低秩特性，并提出了无梯度的结构化通道剪
PDF3 months ago
大规模语言模型的高效剪枝与自适应推理融合
用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了 1.1％，1.02％，2.0％和 1.2％。
PDF4 months ago
通过刺激训练增强稀疏化
基于稀疏化剪枝的研究中，我们提出了一种增强稀疏化范式的结构化剪枝框架 (STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。此外，为了找到最优的剪枝网络架构，我们采用了多维架构空间和知识蒸馏引导的探索策略，同时使用子网变异
PDF4 months ago
结构剪枝：任何架构，任何框架，任何时间
结构化修剪技术 (SPA) 是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架，通过使用标准化计算图和 ONNX 表示法来实现对神经网络的修剪，并通过分组级别的重要性估计方法来进行修剪。在对比实验中，SPA 在不同架构、流行框架和不同
PDF4 months ago
OSSCAR：一个用于图像和语言模型的单次结构化剪枝方法与组合优化
本文通过结构剪枝方法在大规模视觉和语言模型中降低推理成本，提出了一种基于组合优化的框架，利用层间重构目标和低秩更新的本地组合优化算法，显著改善了先前方法在视觉模型和语言模型上的性能。
PDF4 months ago
NutePrune: 高效、逐步精简大型语言模型的多个教师
大规模语言模型在资源受限的硬件上部署具有挑战性，本研究提出了一种高效的结构剪枝算法 NutePrune，通过逐步引导剪枝模型的方法，在保持整体性能的同时，减小了内存开销和提高了推理速度。
PDF5 months ago
每个人都剪枝：只使用前向传播的 LLM 结构剪枝
利用仅使用前向传递的方法进行结构裁剪，我们开发了 Bonsai，一种无梯度、扰动性的裁剪方法，能够生成小型、快速、准确的模型，超越梯度裁剪方法和半结构裁剪方法的性能且节约资源。
PDF5 months ago
用动态结构化剪枝方法压缩深度增强学习网络在自动驾驶中的应用
利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型，在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能
PDF5 months ago
LLaMA 简化：大型语言模型的简单深度修剪
通过深度剪枝方法，我们展示出其在零样本任务性能方面可以与最近的宽度剪枝方法竞争，并且在内存受限情况下的推理速度提升尤为明显，希望这项工作能够帮助在本地和边缘设备上部署大型语言模型。
PDF5 months ago
APT: 自适应剪枝和调整预训练语言模型用于高效训练和推理
通过自适应修剪和调整参数，APT 可以提高语言模型的训练和推理效率，同时保持高性能。
PDF5 months ago
AAAI基于波动的自适应结构修剪大型语言模型
通过提出一种新颖的名为 FLAP（基于波动的自适应结构修剪）的网络学习模型无需再训练就能进行结构修剪的框架，可以有效减少存储和提高推理速度，大大优于现有的基于结构修剪的方法，同时通过制定结构重要性度量，自适应搜索全局压缩模型，并实施补偿机制
PDF6 months ago
MMOTOv3：从结构化修剪到删除运算符的自动架构无关的神经网络训练和压缩
通过压缩和擦除操作，自动训练和压缩一般 DNN，创建紧凑且有竞争力的子网络，无需微调，简化和自动化训练和压缩过程，减少用户的工程工作。
PDF7 months ago
大规模神经架构的反向传播压缩：结构化激活剪枝
通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求，从而降低大规模模型训练的要求并解决生态环境问题。
PDF7 months ago
Archtree: 基于实时树结构探索的深度神经网络低延迟裁剪
Archtree 是一种新的基于延迟驱动的 DNN 结构修剪方法，通过并行地在树形结构中探索多个候选修剪子模型，实时估计目标硬件的延迟，从而更好地适应延迟预算并保持原始模型准确性。
PDF7 months ago
具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络
给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。
PDF8 months ago
LoRAShear: 高效的大型语言模型结构剪枝与知识恢复
大型语言模型通过高效的结构剪枝和知识迁移来减少模型规模并降低计算成本。
PDF8 months ago