Blahut 和 Arimoto 主题的变体
提出了两个针对非凸情况的数值算法,用于快速解决优化问题。该算法基于可变度量介绍了近端项,这使得我们能够针对非凸结构优化问题构建新的近端分裂算法。在变量度量序列条件温和并且假设相关增广拉格朗日函数具有 Kurdyka-Lojasiewicz 性质的情况下,证明了该算法迭代可以收敛到 KKT 点,并获得了增广拉格朗日函数和迭代的收敛速度。
Jan, 2018
本文提出了一种新的 proximal ADMM 算法,使用平滑后的原始迭代的序列并在每次迭代时向增广拉格朗日函数中引入一个二次近似项。该算法的迭代收敛到这个问题的一个站点,特别是当目标函数是二次函数时,证明算法的线性收敛性。
Dec, 2018
本文针对图像科学中广泛使用的一类优化问题,基于 ADMM 算法,通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决,并在实际应用中进行了比较实验,表明最优化效果良好。
Jun, 2015
本文介绍了一种针对单调变分不等式问题的全显式算法,该算法使用计算变量步长的方法来近似本地 Lipschitz 常数,每次迭代只需要评估单调算子 $F$ 和一个 proximal 映射 $g$,并且如果 $F,g$ 满足误差条件,则该方法表现出的收敛速度是 $O (1/k)$ 和 $R$ 线性速度,可以应用于不同类型的固定点问题。
Mar, 2018
本文扩展了 Blahut-Arimoto 算法,用于最大化 Massey 的有向信息,提出了一种既适用于分析具有延迟反馈信道的能力的算法,同时也提供了上下边界序列,为了找到有向信息在因果条件概率质量函数下的最大值,我们使用了反向指数时间最大化和替代最大化过程。
Dec, 2010
本文提出了一种名为 DQM 的去中心化二次逼近方法,旨在减少 DADMM 求解优化子问题所需的计算时间,其以线性速率收敛于最优解,并且其线性收敛系数随时间呈线性趋势,数值结果也证明了 DQM 的有效性。
Oct, 2015
本文提供了一种更加通用的半迭代交替方向乘子法,以解决线性约束下的凸组合优化问题,并证明该方法具有线性收敛性。同时,文章还说明了该方法在解决多个块的凸优化问题时非常有效,其中凸组合二次规划和二次半定规划是重要的应用之一。
Aug, 2015
通过研究我们发现 delta-bar-delta 算法在神经网络优化过程中存在收敛问题,并提出了一种新方法 RDBD(可悔的 delta-bar-delta)来解决这些问题,并验证了其在小批量优化中克服收敛问题并提高优化算法收敛速度的有效性和效率。
Oct, 2023
本文提出了一类新的随机异步分布式优化方法,将标准的交替方向乘子法推广到异步设置中,其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点,最终收敛性在连接性条件下得到保证,数值结果证明了我们的理论。
Mar, 2013