- CVPR动态频道采样用于卷积神经网络的选取或混合
给定挑选或混合(Pick-or-Mix,PiX)模块,用于动态通道抽样,我们证明它可以有效地优化卷积神经网络(ConvNets)的性能,并在网络缩放和通道剪枝应用中取得最新的成果。
- CVPR基于多样性感知的 StyleGAN 压缩通道剪枝
我们提出了一种新颖的通道修剪方法,通过评估通道对潜在向量扰动的敏感性,增强了压缩模型中样本的多样性。我们的方法显著提升了各种数据集中样本的多样性,并且在 FID 得分方面,不仅大幅超过了最先进的方法,还在只有一半训练迭代次数的情况下达到了可 - AAAIREPrune:通过核心代表选择进行通道修剪
本文提出了一种新的通道修剪技术 REPrune,利用层次聚类方法在每个通道中识别相似的卷积核,并通过最大化聚类覆盖问题来选择卷积滤波器,结合同时训练和修剪的范式,实现训练过程中的高效修剪,实验结果显示 REPrune 在计算机视觉任务中表现 - CAIT:面向 ViTs 的高精度、快速推理和良好可迁移性的三赢压缩
我们提出了一种联合压缩方法,用于 Vision Transformers(ViTs),旨在提供高准确性和快速推理速度,同时保持对下游任务的有利可传输性。具体来说,我们引入了不对称的令牌合并(ATME)策略来有效集成相邻的令牌,并引入一致的动 - 基于影响函数的二阶通道修剪 - 无需重新训练即可评估修剪的真实损失变化
优化通道修剪方法,通过重新评估损失的变化来选择更可靠和自信的通道修剪,以及开创出一系列不同于现有修剪方法的新范例。
- ICMLUPSCALE: 无约束通道剪枝
神经网络规模和复杂性增加时,推理速度下降。通道剪枝是一种最有效的压缩技术之一,它从权重中删除通道。然而,在模型的多分支部分,通道的删除可能会引入推理时的内存复制。为了解决这个问题,我们提出了一种新的算法 UPSCALE,通过重新排序通道以减 - CVPRCP$^3$: 面向基于点云的网络的通道剪枝插件
本文提出了一个针对 3D 点云的 Channel Pruning 插件 CP^3,通过坐标增强特征重要性度量和回收舍弃点云信息来提高通道裁剪的鲁棒性,实验证明 CP^3 在不同点云任务上均比基线方法性能更好。
- ECCV基于摊余推断显著性图的解释驱动网络修剪
本文提出一种基于模型解释的方式对 CNNs 进行精简,在引入一个实时平滑的选择模型以及径向基函数(RBF)等经典几何先验和解释模型的参数化的方式下,通过最大化解释模型的相似性来引导网络裁剪,实现了对性能、精简度和解释一些重要指标的平衡。
- 双重回归学习轻量级超分辨率
该论文研究了使用深度神经网络进行图像超分辨率(SR)的任务,并且提出了一种双重回归学习方案和轻量级双重回归压缩方法,以解决 SR 映射空间极大和模型冗余的问题。
- CVPR神经网络压缩中的随机通道剪枝再探讨
该研究采用随机搜索算法确定裁剪神经网络中通道的配置,比较各种方法的表现,结果发现在这种设置下没有明显的优胜者,这倾向于深入研究通道配置搜索方法。
- 量化感知训练中的通道修剪:自适应投影梯度下降缩减分裂方法
提出了一种自适应投影 - 梯度下降收缩分割方法 (APGDSSM),该方法将基于惩罚的通道剪枝集成到量化感知训练 (QAT) 中。APGDSSM 同时搜索量化子空间和稀疏子空间中的权重,并使用收缩算子和分割技术创建稀疏权重,以及使用 Gro - CVPR双侧耦合网络中的网络宽度搜索
该论文提出一种双向耦合网络(BCNet)来解决现有方法在超网络中存在的训练不公平问题,同时通过优化搜索空间和采用新的训练策略来实现更精确的网络宽度评估。通过实验证明,该方法可以获得良好的效果,并在网络结构的优化中进一步提升性能表现。
- WWW基于类别判别剪枝的联邦遗忘
本文研究了在联邦学习中,通过实现 Term Frequency Inverse Document Frequency (TF-IDF) 对不同分类通道进行量化刻画,进而实现非对称遗忘(category forgetting)的目的,而不需要 - ICCV通过具有可微极化的门实现稳定的神经网络修剪
本文提出了一种新颖的模型压缩技术,称为 Gates with Differentiable Polarization(GDP),该技术可以在不影响模型性能的情况下控制每个通道或层块,优于常规采样和基于门控的剪枝方法,经实验证明在各类深度神经 - ICML实用网络压缩的群组 Fisher 剪枝
本文提出了一种通道剪枝的方法,可以应用于各种复杂的结构,包括具有耦合通道的结构,在各种主干网络上进行了大量的实验,证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。
- CVPR通过协作压缩实现紧凑的 CNN
本文提出了一种协同压缩方案,将通道剪枝和张量分解结合起来,通过同时学习模型的稀疏性和低秩性来压缩 CNN 模型。该方法在各个数据集和骨干架构上展示了优越的性能提升,例如在 ImageNet 2012 上,我们通过删除 48.4%的参数从 R - CVPRBCNet: 双向耦合网络搜索网络宽度
本文提出了双向耦合网络 (BCNet) 的概念,使用随机补充和先验采样技术来训练 BCNet,能够更准确地评估每个网络宽度。在 CIFAR-10 和 ImageNet 数据集上的实验表明,该方法在性能上超越了其他基线方法,并通过对 NAS - 基于资源重分配的网络剪枝
本文介绍了一种名为 PEEL 的通道剪枝技术,通过资 源重定位实现了快速生成精简模型的目标,实验结果表明,PEEL 前所未有地提高了信息层的 正面效应,使得剥离比较无关紧要的结构在各种剪枝设置下都能够达到与最先进的剪枝算法相 - ECCVGAN 瘦身:通过统一的优化框架实现全能的 GAN 压缩
该研究提出了一个名为 GAN Slimming 的统一优化框架,将多种压缩方法与 GAN 最小二乘目标组合在一起,相比现有选项在压缩图像转换 GAN 方面表现优异,其中包括模型蒸馏,通道修剪和量化等几种主流压缩技术。
- ICML运算感知的可微分掩码软通道剪枝
本论文提出了一种简单而有效的数据驱动信道剪枝算法,该算法通过利用操作的特性以可微分的方式压缩了深度神经网络,并对批次归一化和修正线性单元进行了联合考虑,以评估连接每个特征图的两个连续操作关闭其的可能性并修剪概率高的信道。