stationary point | BriefGPT

关键词stationary point

搜索结果 - 8

Adam 在放宽假设下的随机优化收敛性
在具有潜在无界梯度和仿射方差噪声的非凸光滑场景下，研究了 Adam 算法的理论性质，证明了它能够以高概率在多项式时间复杂度内找到一个稳定点，同时具有较好的自适应性能。
PDF5 months ago
去中心化弱凸优化的 Moreau 包络 ADMM
本文提出了一种分布式优化的交替方向乘子法 (ADMM) 的近似变体，通过使用 Moreau 包络函数的分析，证明了该方法可以在温和条件下收敛到一个稳定点，并且经过数值实验表明它比广泛使用的方法更快、更健壮。
PDF10 months ago
加速梯度下降比梯度下降更快地逃离鞍点
本文针对优化算法问题，研究了一种 AGD 变体，通过使用一个启发式的 Hamiltonian 函数以及一个新的框架 improve or localize，证明了其找到 hessian-free 的二阶稳定点的速度比 GD 更快，证明了其具
PDF7 years ago
Frank-Wolfe 算法在非凸目标中的收敛速率
该研究提供了一个简单的证明，表明 Frank-Wolfe 算法在具有 Lipschitz 连续梯度的非凸目标上，以 O（1 /sqrt {t}）的速率获得静止点。
PDF8 years ago
非凸优化的快速增量方法
本文分析了一种用于优化非凸问题的快速递增聚合梯度方法，在递增一阶预言框架中分析了 SAGA 算法，并表明它比梯度下降和随机梯度下降更快地收敛到稳定点。此外，我们还讨论了 Polyak 特殊类的问题，针对这类问题，SAGA 方法的收敛速度为线
PDF8 years ago
稀疏非线性回归：参数估计与渐近推断
研究了稀疏非线性回归的参数估计和渐近推断，提出了一种 $\ell_1$ 正则化最小二乘估计器，并证明了在温和条件下，目标函数的每个驻点都享有最优的统计收敛速率，并提供了有效的算法来获得估计器的不确定性，同时用数字结果支持了我们的理论。
PDF9 years ago
MM一类结构化非线性规划的随机非单调块次梯度法
本文提出了一种随机非单调块次梯度法，可用于最小化平滑函数和块可分离（可能非凸，非光滑）函数之和。该方法具有一定的收敛速度和找到一个近似静止点的能力，可以用于解决最小二乘问题和双重支持向量机问题。
PDF11 years ago
云无线接入网络下行联合预编码与多元回程压缩
本文研究了云无线电接入网络下行链路的预编码和回程压缩策略的联合设计问题，并提出了一种新的基于多元压缩的压缩方案，以控制量化噪声在移动站点处的影响，利用一个迭代算法来解决问题并提出了一种新的架构实现跨基站的多元压缩技术来更有效地传输信息。
PDF11 years ago