通过深度学习来解决混合整数规划(MIP)模型中固有的计算复杂性,并比较前馈神经网络(ANN)和卷积神经网络(CNN)在逼近 MIP 问题中的活动维度的效果,利用多标签分类来纳入多个活动维度,通过贝叶斯优化进行超参数调优以提升模型性能,并应用于基于流量的设施位置分配混合整数线性规划(MILP)问题,描述个性化医疗供应链中的长期投资规划和中期战略规划。
Jan, 2024
为了解决剔除被感染深度神经网络中的后门相关神经元的问题,在现有方法的基础上,我们提出了优化神经元剪枝(ONP)方法,结合图神经网络(GNN)和强化学习(RL),通过学习图嵌入和找到适当的剪枝策略来修复后门模型。实验证明,ONP 可以在几乎没有性能降级的情况下有效剪枝由一组后门攻击植入的后门神经元,从而实现了后门缓解领域的最新最佳性能。
May, 2024
本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准,采用迭代剪枝策略进行剪枝,本文表明在参数数目相似的情况下,与快速单任务 DNN 相比,DNN 多任务可以通过精心的超参数调整实现相似的性能,迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。
Apr, 2023
通过剪枝实现减少模型存储和计算操作,防止 Deep Learning 或 Deep Neural Networks (DNNs) 的隐私泄露,提高 DNNs 的抗干扰性和准确性
Aug, 2020
我们介绍了一种新颖而简单的神经网络剪枝框架,通过引入 Gumbel-Softmax 技术,在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构,实现了网络的卓越压缩能力,保持了在 MNIST 数据集上的高准确性,仅使用了原始网络参数的 0.15%。此外,我们的框架提升了神经网络的可解释性,不仅能够轻松从剪枝网络中提取特征重要性,而且能够可视化特征对称性和信息传递路径,学习策略通过深度学习得到,但却令人惊讶地直观且可理解,专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。
Nov, 2023
本文介绍了一种将机器学习与混合整数规划相结合的方法,通过构建两个神经网络组件 Neural Diving 和 Neural Branching 来生成高质量的联合变量分配和绑定目标值差异,在实验中,该方法比传统方法得到了更好的结果。
Dec, 2020
采用模型剪枝技术在生物医学成像中有效减少推理成本,至少能压缩 70% 的模型大小而性能几乎不下降。
Apr, 2024
深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。
Feb, 2020
本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩,通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力,并在基准数据集上进行了广泛实验以证明其有效性。
May, 2017
通过神经元选择的结构化剪枝方法,可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本,并利用 L0 范数优化,取得了语言建模等任务上的优异表现。
Jun, 2019