saddle point problems | BriefGPT

关键词saddle point problems

搜索结果 - 9

耗散梯度递降上升法：一种受控制理论启发的极小极大优化算法
梯度下降和上升（GDA）法用于最小 - 最大优化问题时，通常会产生振荡行为，容易导致不稳定性，为解决这一问题，本文提出了一种通过引入耗散项来抑制振荡的方法，称为 Dissipative GDA (DGDA)，DGDA 方法可以看作是在一个状
PDF4 months ago
联邦组合鞍点优化
在联邦学习范式下解决复合优化问题中的鞍点问题，我们提出了第一种包括鞍点优化和复合优化的额外步骤原始 - 对偶算法 FeDualEx，并通过收敛性分析和经验评估证明了其在这些具有挑战性的环境中的有效性。此外，我们还提供了随机复合鞍点设置的速率
PDFa year ago
具有理论保证的压缩通信分布式求解变分不等式方法
本文介绍了使用压缩通信解决变分不等式和鞍点问题的分布式方法：MASHA1 和 MASHA2，并通过两个实验验证了结论的正确性。
PDF3 years ago
拟合点方法下额外梯度和乐观梯度方法在鞍点问题中的统一分析
本文研究使用 Extra-gradient 和 Optimistic Gradient Descent Ascent 算法解决鞍点问题，并表明这两种算法作为经典的近端点法的逼近。通过这个观点，我们开发了一种新的框架来分析 EG 和 OGDA
PDF5 years ago
局部鞍点优化：一种曲率利用方法
本文研究了基于梯度下降的优化方法在处理鞍点问题时的局限性，提出一种新的优化方法 —— 利用曲率信息跳出非最优静态点，证明了采用曲率信息的梯度方法和 Adagrad 等方法都能够跳出非最优静态点，并在常见鞍点问题上提供了实证结果。
PDF6 years ago
一种带有线搜索的原对偶算法求解一般凸 - 凹鞍点问题
提出了一种基于新动量项的原始 - 对偶算法，使用偏导数来求解不要求耦合项线性的凸 - 凹函数产生的鞍点问题，并给出了具体的收敛速度。
PDF6 years ago
具任意采样随机原始对偶混合梯度算法及其在成像领域的应用
提出一种随机扩展的原始 - 对偶混合梯度算法用于解决在对偶变量中可分离的鞍点问题，该算法适用于一般的凸凹鞍点问题和部分平滑 / 强凸或完全平滑 / 强凸问题，并且在任意抽样的对偶变量中，有多个变体的随机方法在各种图像任务中显着优于确定性变体
PDF7 years ago
随机一阶方法求解鞍点优化问题
本研究提出了新颖的随机算法，可以解决由多个凸集的直积给出的对偶可行域的鞍点问题，并针对广义双线性鞍点和平滑双线性鞍点问题分别实现 $\mathcal {O}(1/N)$ 和 $\mathcal {O}(1/N^2)$ 收敛速度，这些算法不需
PDF10 years ago
一类鞍点问题的最优原始 - 对偶方法
本文提出了一种新的加速原始 - 对偶（APD）方法用于解决特定类的确定性和随机鞍点问题（SPP），该算法将多步加速方案纳入到原始 - 对偶方法中，不需要平稳化目标函数，因此具有与 Nesterov 平滑技术相同的收敛率以及针对随机 SPP
PDF11 years ago