Jun, 2013

交替方向乘子法（ADMM）二次问题的最优参数选择

PDF
TL;DR本文旨在通过寻找最优算法参数，最小化 ADMM 迭代的收敛因子，来定量表征算法参数对于优化收敛时间的影响。我们在 L2 正则化最小化和约束二次规划的背景下，得出最优参数选择规则，并通过数值实验表明，这些规则显著优于现有文献中的替代方案。
发现论文，激发创造
  • 分布式二次规划的 ADMM 算法的最优缩放

    本文提出了一种优化交替方向乘子法 (ADMM) 算法的最优缩放方法，针对一类分布式二次规划问题，通过优化 ADMM 步长、松弛参数以及通信图中的边权重，得到算法最小收敛因子。推导出步长、松弛参数和相应的收敛因子的显式表达式，通过数值模拟验证了我们的结果，并强调了优化缩放 ADMM 算法的好处。

    Mar, 2013

  • 线性二次问题的 ADMM 及过松弛 ADMM 参数的优化

    在这篇论文中，我们首先提出了一种通用方法来优化惩罚参数的值，然后在线性二次问题（LQPs）的背景下，提出了一种新的封闭形式公式来计算最佳松弛参数。通过随机实例化和多样化的图像应用实验证明了我们参数选择方法的有效性，其中包括差分同胚图像配准、图像去模糊和 MRI 重建。

    Jan, 2024

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014

  • 大规模二次规划的 ADMM GPU 加速

    本文通过在 GPU 上建立 ADMM 的求解器来加速大规模优化问题的求解，实现了高效地利用算力提高求解速度，并与 CPU 实现相比，速度提高了数十倍。

    Dec, 2019

  • ADMM 在非凸问题中的实证研究

    本文为非凸优化问题提供一种广泛适用的解决方法，即交替方向乘子法（ADMM），并研究了其在不同领域的实用性，包括线性回归、图像降噪、相位恢复及特征向量计算， 最近从提出的自适应 ADMM 方法可以通过自动调整惩罚参数来提高算法效率和解决质量 compared to ADMM with a non-tuned penalty。

    Dec, 2016

  • 一种加速线性化交替方向乘子法

    提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

    Jan, 2014

  • 分散的二次逼近交替方向乘法算法

    本文提出了一种名为 DQM 的去中心化二次逼近方法，旨在减少 DADMM 求解优化子问题所需的计算时间，其以线性速率收敛于最优解，并且其线性收敛系数随时间呈线性趋势，数值结果也证明了 DQM 的有效性。

    Oct, 2015

  • 凸复合二次和半定规划的交替方向乘子法的线性收敛率

    本文提供了一种更加通用的半迭代交替方向乘子法，以解决线性约束下的凸组合优化问题，并证明该方法具有线性收敛性。同时，文章还说明了该方法在解决多个块的凸优化问题时非常有效，其中凸组合二次规划和二次半定规划是重要的应用之一。

    Aug, 2015

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013