提出一种名为 MO-EvoPruneDeepTL 的多目标进化修剪算法,利用转移学习将深度神经网络的最后层替换为稀疏层,通过性能、复杂度和稳健性引导演化,实验结果表明该算法在所有目标方面都取得了有前途的结果,且网络修剪带来的影响有助于解释输入图像对于修剪神经网络预测最为相关的部分。最后通过利用不同修剪模型的集合显示整体性能和鲁棒性的提高。
Feb, 2023
提出了一种启发式遗传算法(GA)来剪枝卷积神经网络(CNN),在错误、计算和稀疏性之间进行多目标权衡,经实验证明,GA 可以根据预定义的适应度函数自动剪枝 CNN,得到竞争性的压缩性能。
Jun, 2019
本研究提出一种基于进化多目标(EMO)算法的网络修剪算法,结合多子网络来降低空间复杂度和资源消耗,其中提出了分而治之的 EMO 网络修剪框架和基于交叉网络约束的子网络训练方法,并设计了多子网络联合修剪方法来优化整个修剪网络的性能。实验结果表明,此算法比十五种先进的修剪算法更为有效和高效。
Mar, 2023
本文提出了一种基于遗传算法的新型通道剪枝方法,通过分层和知识蒸馏框架的剪枝中,显著降低了模型的冗余,并在三个基准数据集上验证其性能。
May, 2018
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
May, 2019
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速 CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018
本论文提出了一种新的多目标优化方法,用于在实际应用中演进最先进的卷积神经网络,以自动演进 Pareto 前沿的非支配解,并使用多个 GPU 和机器并行运行并发实验,实验结果表明所提出的算法可以找到清晰的 Pareto 前沿。
Mar, 2019
本文提出了一种基于聚类的卷积核剪枝方法,通过在线将卷积核聚类并比较相似的卷积核,可以安全地剪掉同类的冗余卷积核,实现深度神经网络的加速,实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。
我们首次引入了单目标算法,其可成功用于不同类别的约束子模拟最大化问题,并通过增加搜索空间的可行区域来处理这些问题。
Jun, 2024
在神经进化(neuroevolution)中,我们提出了一种名为 NeuroLGP-SM 的方法,它利用表型距离向量和 Kriging Partial Least Squares(KPLS)作为代理模型,以高效准确地评估大型深度神经网络(DNNs)的适应度,并且相比其他方法具有竞争力或更好的结果和更高的能源效率。
Apr, 2024