nonconvex problems | BriefGPT

关键词nonconvex problems

搜索结果 - 11

具有水平无关收敛速度的网络随机多级组合优化算法
探讨了针对多层分布式部署的随机优化问题的两种新的分布式优化算法，并在理论上和实验中验证了两种算法的有效性。
PDFa year ago
非凸和非光滑问题随机优化的稳定性和泛化
本文针对非凸非光滑问题提出新的算法稳定性度量方法，同时建立它们与梯度之间的量化关系，并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。
PDF2 years ago
约束非凸优化的提速不精确增广拉格朗日方法
本研究提出了一种改进的不精确增广拉格朗日方法（iALM），并通过统一分析证明了针对具有线性等式或非凸约束的非凸问题的 iALM 的高效性，该算法在实践中比罚函数方法表现显著更好。我们的数值实验验证了所提出的方法的有效性，具有重要的理论和实践
PDF4 years ago
MM随机一阶方法用于凸约束优化和非凸约束优化
本论文提出了 Constraint Extrapolation 和 proximal point method 两种方法来解决 functional constrained optimization 问题，分别针对 convex 和 non
PDF5 years ago
IJCAI零阶随机交替方向乘子法用于非凸非光滑优化
本文提出了一种基于坐标平滑梯度估计器的快速零阶随机 ADMM 方法（即 ZO-SVRG-ADMM 和 ZO-SAGA-ADMM），用于解决具有多个非光滑惩罚的非凸问题，证明了这两种方法的收敛速率为 $O（1 / T）$，可以有效地解决许多复
PDF5 years ago
AAAI快速无梯度近端随机非凸非光滑优化方法
本文提出了两种新的零阶近端随机优化算法 ZO-ProxSVRG 和 ZO-ProxSAGA，它们利用了 SVRG 和 SAGA 的方差缩减技术，并证明了它们具有线性 $O (rac {1}{T})$ 的收敛速度，实验结果表明相比于现有的零阶
PDF5 years ago
马尔可夫链梯度下降
本文研究随机梯度下降的变体 —— 马尔科夫链梯度下降算法，并针对非凸问题和不可逆有限状态马尔科夫链等情形，提出可行的非等时收敛证明，并通过实验验证其有效性。
PDF6 years ago
非凸随机优化中动量与异步加速权衡的研究
本文通过对简单但非平凡的非凸问题 - 流式 PCA 的分析，建立了异步动量随机梯度下降算法 (Async-MSGD) 在流式 PCA 中渐进收敛速率的扩散近似，结果表明异步和动量之间存在根本的权衡：为了通过异步获取收敛和加速，我们必须降低动
PDF6 years ago
随机方差减少 ADMM
本文提出了一种新的优化算法 ADMM-SVRG，与传统算法相比能够在低存储空间的前提下达到更快的收敛速率，还可以用于解决非凸问题。实验结果表明，它比 SCAS-ADMM 快得多，可以处理更大的数据集。
PDF8 years ago
约束凸凹规划
本文提出了一种结合了纪律凸优化编程（DCP）和凸凹编程（CCP）思想的纪律凸凹编程（DCCP）框架，其中包含两个改进，一个是函数域的处理，另一个是边界不可微问题。我们还描述了一个名为 DCCP 的 Python 实现并提供了实例。
PDF8 years ago
非凸优化的快速增量方法
本文分析了一种用于优化非凸问题的快速递增聚合梯度方法，在递增一阶预言框架中分析了 SAGA 算法，并表明它比梯度下降和随机梯度下降更快地收敛到稳定点。此外，我们还讨论了 Polyak 特殊类的问题，针对这类问题，SAGA 方法的收敛速度为线
PDF8 years ago