Jul, 2019

具有生成先验学习的快速可证明 ADMM

PDF
TL;DR本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。
alternating direction method-of-multipliersconvex functionnonconvex constraintneural networkgenerative adversarial networks
发现论文，激发创造
  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 非凸非光滑优化中的 ADMM 全局收敛性

    本文分析了交替方向乘子法（ADMM）在非凸优化中的收敛性，并提供了针对特定情形的收敛保证。同时，通过例子和分析，本文表明 ADMM 有望比增广拉格朗日方法（ALM）更适用于某些非凸非光滑问题。

    Nov, 2015

  • ADMM 在非凸问题中的实证研究

    本文为非凸优化问题提供一种广泛适用的解决方法，即交替方向乘子法（ADMM），并研究了其在不同领域的实用性，包括线性回归、图像降噪、相位恢复及特征向量计算， 最近从提出的自适应 ADMM 方法可以通过自动调整惩罚参数来提高算法效率和解决质量 compared to ADMM with a non-tuned penalty。

    Dec, 2016

  • 一种加速线性化交替方向乘子法

    提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

    Jan, 2014

  • 一种基于 Majorization Minimization 的统一交替方向乘子法

    提出了 Gauss-Seidel ADMMs 和 Jacobian ADMMs 框架及其收敛分析。我们展示了这些框架可以通过最小化可分离 majorant 替代加强本来只可以解决可分离问题的 ADMMs。我们还介绍了几种提高 ADMM 效率的技术，特别地，我们提出了 M-ADMM，它通过吸收 Gauss-Seidel ADMMs 的特点来缓解 Jacobian ADMMs 的缓慢收敛问题。在理论保证和数值实验方面，我们的新 ADMMs 表现优越。此外，我们还发布了一个工具箱，其中包含了很多压缩感知问题的高效 ADMMs 的实现。

    Jul, 2016

  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014

  • 带收敛分析的非凸非光滑优化的线性化 ADMM

    本篇论文提出两种针对非凸非光滑目标函数的扩展线性交替方向乘子法 (ADMM)，均在较少的前提下保证收敛，并且可以使用多个块来并行计算协同变量以更有效地求解问题。

    May, 2017

  • 可微分线性化 ADMM

    本文提出一种深度神经网络 Differentiable Linearized ADMM (D-LADMM)，用于求解具有线性约束的问题，并证明该方法是可收敛的，同时也是第一个在约束问题上提供收敛性分析的学习优化方法。

    May, 2019

  • 非凸约束的非线性等式问题交替方向乘子法的一般化

    本文提出了一种扩展了 Alternating Direction Method of Multipliers 框架的方法 neADMM，可以用来解决非线性等式约束问题，并针对其中难点之一的非凸子问题提出了全局最优解决方案，实验结果表明这种方法在合成数据和现实世界数据上具有极高的性能和可扩展性。

    May, 2017