ICLRNov, 2016

交替方向乘子法在稀疏卷积神经网络中的应用

PDF
TL;DR本论文使用交替方向乘子法（ADMM）来识别网络的稀疏结构，通过最小化一个目标函数，附带有促进稀疏的额外惩罚项，减少卷积神经网络（CNNs）的计算复杂度，生成具有更少计算和参数的模型同时保持或提高泛化能力。
convolutional neural networkscomputational complexitysparsityalternating direction method of multipliersgeneralization performance
发现论文，激发创造
  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • ADMM-NN: 使用交替方向乘积算法的 DNN 的算法硬件协同设计框架

    研究对于 DNN 模型的压缩有两类深入了解，如权重修剪和量化；文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN，该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比，并且在不损失准确性的情况下可以达到比以往更好的性能。

    Dec, 2018

  • 使用交替方向乘子法的系统性 DNN 权重剪枝框架

    采用交替方向乘子法（ADMM）的系统性权值剪枝框架解决了深度神经网络中常见的非凸优化问题和稀疏性约束问题，实现了较快的收敛速度和较优的剪枝效果。

    Apr, 2018

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014

  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013

  • 具有生成先验学习的快速可证明 ADMM

    本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。

    Jul, 2019

  • 使用交替方向乘子法进行深度神经网络的系统权重剪枝

    本文利用交替方向乘子法 (ADMM) 提出了一种深度神经网络 (DNNs) 系统权值剪枝框架，通过约束非凸优化问题，并借助 ADMM 框架对权重剪枝进行有序化处理，以在保持相同测试精度以内的情况下实现更高的压缩率和更快的收敛速率。

    Feb, 2018

  • 一种基于 Majorization Minimization 的统一交替方向乘子法

    提出了 Gauss-Seidel ADMMs 和 Jacobian ADMMs 框架及其收敛分析。我们展示了这些框架可以通过最小化可分离 majorant 替代加强本来只可以解决可分离问题的 ADMMs。我们还介绍了几种提高 ADMM 效率的技术，特别地，我们提出了 M-ADMM，它通过吸收 Gauss-Seidel ADMMs 的特点来缓解 Jacobian ADMMs 的缓慢收敛问题。在理论保证和数值实验方面，我们的新 ADMMs 表现优越。此外，我们还发布了一个工具箱，其中包含了很多压缩感知问题的高效 ADMMs 的实现。

    Jul, 2016

  • 使用双块交替方向乘子法解决多块可分凸最小化问题

    本文探讨使用交替方向乘子法（ADMM）来解决多块可分凸优化问题。提出了一种将多块问题转化为等价的二块问题来解决的策略，并分别从理论和实验结果两方面证明了其收敛性和数值效率优势。

    Aug, 2013

  • 自适应 ADMM 算法中的谱惩罚参数选择

    本研究提出了一种自适应调节罚项参数的方法，使得交替方向乘子法 (ADMM) 得以快速收敛，从而提高了其可靠性和自动化水平。结果表明，这种自适应 ADMM (AADMM) 算法可以相对缓解 ADMM 算法在惩罚因子调节方面存在的问题，并同时保持收敛速度较快。

    May, 2016