Jan, 2024

基于交替方向乘子法的分布式马尔可夫链蒙特卡罗采样

PDF
TL;DR分布式采样方案基于交替方向乘子方法，用于处理机器学习任务中的分布式数据集，并在贝叶斯推断任务中提供不确定性量化。通过优化算法的收敛性理论保证和与现有基于梯度的方法相比的实验证据，论文表明该方案具有优越性。
发现论文，激发创造
  • 随机交替方向乘子法异步分布式优化

    本文提出了一类新的随机异步分布式优化方法，将标准的交替方向乘子法推广到异步设置中，其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点，最终收敛性在连接性条件下得到保证，数值结果证明了我们的理论。

    Mar, 2013

  • 分布式交替方向乘子法显式收敛速度

    研究了分布式优化问题，利用交替方向乘子法给出了一类分布式算法，并对其收敛性进行了分析，还通过应用示例给出了如何优化算法中的参数。

    Dec, 2013

  • 分割和增广的 Gibbs 采样器 - 应用于大规模推理问题

    本研究提出了两种新的基于优化驱动的蒙特卡罗算法，通过变量分割和数据增强来获得更快、更高效的采样方案，并且生成的样本可用于近似贝叶斯估计。此外，所提出的方法可以用较低成本的方式提供置信区间。两个经常研究的信号处理问题的模拟结果显示了这两种采样器的性能，这些结果与使用最新的优化和 MCMC 算法解决这些问题所获得的结果进行了比较。

    Apr, 2018

  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013

  • 基于 ADMM 的分布式算法的隐私和精度改进

    为了解决分布式计算过程中数据隐私泄露的问题，提出了一种基于改进的 ADMM 算法的扰动方法，可同时提高实用性和隐私性，并得到收敛性条件和收敛速率下界。

    Jun, 2018

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 分散的二次逼近交替方向乘法算法

    本文提出了一种名为 DQM 的去中心化二次逼近方法，旨在减少 DADMM 求解优化子问题所需的计算时间，其以线性速率收敛于最优解，并且其线性收敛系数随时间呈线性趋势，数值结果也证明了 DQM 的有效性。

    Oct, 2015

  • 一种加速线性化交替方向乘子法

    提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

    Jan, 2014

  • 线性约束非凸优化的乘子近端交替方向法

    本文提出了一种新的 proximal ADMM 算法，使用平滑后的原始迭代的序列并在每次迭代时向增广拉格朗日函数中引入一个二次近似项。该算法的迭代收敛到这个问题的一个站点，特别是当目标函数是二次函数时，证明算法的线性收敛性。

    Dec, 2018

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014