exponential convergence | BriefGPT

关键词exponential convergence

搜索结果 - 10

波兰空间中熵正则化的马尔可夫决策过程的费歇 - 劳梯度流
我们研究了具有 Polish 状态和动作空间的无限时段熵正则化马尔可夫决策过程的 Fisher-Rao 策略梯度流的全球收敛性。该流是策略镜像下降方法的连续时间模拟。我们建立了梯度流的全球适定性，并证明其指数级收敛到最优策略。此外，我们证明
PDF9 months ago
受限强凸性下的预条件 PI 一致性算法的线性收敛
该研究通过使用比例积分（PI）控制策略，在同步连接的点对点多智能体网络中解决分布式凸优化问题。它提出了 PI 共识算法，利用 Lyapunov 理论保证了限制强凸函数具有速率匹配离散化的 PI 共识算法的指数收敛性。为了加速 PI 共识算法
PDF9 months ago
随机梯度下降噪声的隐私泄露可能会收敛，即使对于非凸损失函数
本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。
PDFa year ago
快速求解最优输运问题：往返法
本研究提出一种迭代方法来高效地解决一类严格凸代价函数的最优运输问题，该方法包括二次和 p 次幂代价函数。我们针对两个定义在离散网格上的概率分布，使用 O (n) 的存储空间和 O (n log (n)) 的操作量计算最优映射，具有近似指数收
PDF5 years ago
竞争性梯度下降
本文提出了一种用于计算竞争性双人游戏纳什均衡的新算法，该算法基于正则化双线性局部逼近的纳什均衡，避免了交替梯度下降中出现的振荡和发散，而且在达到指数级 (局部) 收敛性的同时，其收敛和稳定性的性质对于玩家之间的强交互是稳健的，具有更快的收敛
PDF5 years ago
不带方差减少的指数收敛随机 k-PCA
我们提出了矩阵 Krasulina 算法，通过将经典的 Krasulina 方法从向量推广到矩阵情况，实现了在线 k-PCA，并展示了算法在自然适应数据低秩性，并收敛至地面真实主子空间，表明在本质上的低秩数据问题上，仅仅采用 SGD 变体就
PDF5 years ago
关于非凸过参数化学习中 SGD 的指数收敛
该文研究了使用随机梯度下降方法学习的大型过度参数化模型的收敛速度，并证明了当损失函数为凸函数或满足 Polyak-Lojasiewicz 条件的广泛非凸函数类时，常数步长下 SGD 可以实现指数收敛。
PDF6 years ago
Fokker-Planck 方程下 Renyi 变异度的指数衰减
我们证明了对于具有严格凸潜能梯度的漂移的 Fokker-Planck 方程，在 Rényi 散度的量化下，其解收敛于平衡态的指数，这扩展了相同方程的相对熵的经典指数衰减结果。
PDF6 years ago
交替最小化的低秩张量补全
本文提出了一种名为 Tubal-Alt-Min 的快速迭代算法，用于解决观测一个三阶张量子集的难题，实验表明，该算法在指数上收敛，并且比基于张量核范数的算法在恢复误差上有显著的提高。
PDF8 years ago
NIPS指数收敛的贝叶斯优化
本研究提出了一种贝叶斯优化方法，无需辅助优化和 delta-cover 采样，即可实现指数收敛。
PDF8 years ago