pruning algorithms | BriefGPT

关键词pruning algorithms

搜索结果 - 8

数据剪枝中的知识提取
通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。
PDF4 months ago
不是所有的票务都是平等的，我们明白：借助领域特定知识指导剪枝
通过使用特定领域的结构信息，我们提出了 DASH 修剪算法，并在学习动态基因调控网络模型的任务中展示了其在提供与生物学相关的数据洞察力方面的效果优于竞争方法。
PDF4 months ago
使用多部分图表示探索稀疏神经网络内部
本文提出了一种新的 unrolled input-aware bipartite Graph Encoding 算法用于寻找 DNN 中的高效子网络并研究其拓扑结构，以探究现有的剪枝算法和拓扑结构之间的差异以及与性能之间的关系。
PDFa year ago
利用稀疏性在剪枝神经网络中优化大模型训练
本文提出利用稀疏子网络以优化内存利用和通信的方法来加速深度学习中的数据和层间并行算法，并将其融入 AxoNN，实验证明在 512 NVIDIA V100 GPU 上，相比于 AxoNN，DeepSpeed-3D 和 Sputnik，优化后的
PDFa year ago
植物寻觅：你能找到获胜的门票吗？
通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。
PDF3 years ago
ECCVEagleEye：高效神经网络剪枝的快速子网络评估
本文提出了一种名为 EagleEye 的剪枝算法，利用简单且高效的自适应批量归一化评估方法来加速识别潜在精度最高的剪枝候选项，从而更好地裁剪神经网络。在 MobileNet V1 和 ResNet-50 等模型中进行实验表明，EagleEy
PDF4 years ago
PoPS: 深度强化学习策略剪枝与收缩
本文介绍了一种名为 Policy Pruning and Shrinking 的深度强化学习算法，该算法利用迁移学习，通过迭代策略剪枝和缩小方法，实现了对深度神经网络的压缩表示，在不牺牲性能的情况下减少了计算成本。实验证明其在几个常见的强化
PDF4 years ago
ACL使用无向最小生成树推断进行边缘线性一阶依存句法分析
该研究提出了一种基于最小生成树的推断算法，可以将大规模的图形依赖分析模型边缘数量的运行时间复杂度降至 O (m)，并通过局部贪心更新进一步优化了有向解析树模型，验证实验表明，该算法在 18 种语言的测试中表现类似于原始解析器。
PDF9 years ago