Mar, 2014

随机变分不等式问题的最优鲁棒平滑外推算法

PDF
TL;DR本文考虑了随机泛型不等式问题及其解决方案，利用局部随机平滑方案求解，并证明了该解决方案在平均意义下和几乎肯定意义下都能收敛到问题的解，同时也实现了 $1/k$ 的收敛速度。
stochastic variational inequality problemsextragradient algorithmsmean-squared convergencelocally randomized smoothinglipschitzian parameter
发现论文，激发创造
  • 具有方差缩减的随机变分不等式外推法

    我们提出了一种超梯度方法，它具有远离零的步长，适用于仅需要伪单调性的随机变分不等式。我们提供了收敛性和复杂性分析，其可允许无界可行集，无界算子，或不均匀的预测方差，并且不需要任何规则化。

    Mar, 2017

  • 约束单调变分不等式的 Extragradient 算法和乐观梯度下降上升算法的紧凑最后迭代收敛性

    本研究解决了开放性问题，证明了用切向残差作为潜势函数的 extragradient 算法（或乐观梯度上升下降算法）在任意凸可行域上具有极致的收敛速率，其简单的表达为 $O (1/√T)$ 。

    Apr, 2022

  • 带逐步方差缩减的近端随机梯度下降法

    提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

    Mar, 2014

  • 随机牛顿近端外推法

    我们提出了一种新颖的随机牛顿近端外推方法，改进了过去的方法，并在更少的迭代次数内达到更快的全局线性速率和相同的快速超线性速率。

    Jun, 2024

  • 随机优化的随机平滑化

    本文研究了随机优化程序在非光滑凸优化问题中的收敛速度，与加速梯度方法相结合的随机平滑技术获得了期望和高概率的收敛速度，具有梯度估计方差的最优依赖性，这是首个针对非光滑优化问题的这种速率。作者给出了几个关于统计估计问题的应用，并提供了实验结果来证明所提算法的有效性。作者还描述了如何将他们的算法与最近研究的分布式优化结合起来，得到一个最优秩序的分布式随机优化算法。

    Mar, 2011

  • 一种适应于光滑度和噪声的变分不等式通用算法

    该论文提出了一种基于 Mirror-Prox 算法的普适性算法，适用于具有噪声和非噪声数据以及平滑和非平滑函数的情况。算法通过适应性步长的选择来处理相关的约束问题，可以用于解决凸最小化和凸 - 凹鞍点问题等应用。

    Feb, 2019

  • 优化中的外推法：收敛性与复杂性

    本文研究了解决两个函数之和的最小值问题的外推梯度方法，证明了在 Kurdyka-Lojasiewicz 假设下，该方法得到的序列收敛于问题的临界点并具有有限长度。该分析拓展到两个函数均为凸函数的情况，并证明了其次线性收敛率。此外，我们展示了将小型 prox 复杂度结果应用于此方法的方法。这个方法提供了一个机会来描述一种精确的线搜索方案，用于 proximal 分解方法。我们提供了实现这种方案对于一范数规则化最小二乘问题的细节，并展示了数值结果，这些结果表明将非加速方法与精确线搜索相结合可能是一个有竞争力的选择。

    Sep, 2016

  • 重新审视随机外推算法

    通过新的采样策略来解决随机外推梯度法中的基本问题，并且证明可以解决变分不等式问题，以及比其他方法更快地收敛于双线性鞍点问题，同时探讨了外推梯度法在训练生成式对抗网络中的应用及其与其他方法的比较。

    May, 2019

  • 探索激进，更新保守：变步长缩放的随机极限梯度法

    本研究通过调整双步长外推梯度算法的探索步骤与更新步骤的时间尺度，解决了使用随机梯度时基本版外推梯度算法的发散问题，并在误差界条件下推导出了尖锐的收敛速率。

    Mar, 2020

  • 变分不等式中的随机方法：遍历性，偏差和改进

    本研究旨在通过将常数步长随机外推算法（SEG）和随机梯度升降（SGDA）重新组合为时齐马尔科夫链来澄清并量化这些算法内在的概率结构，并证明了对于广泛的单调和非单调 VIP 而言，平均迭代数渐近地趋向于具有唯一不变分布的正态分布，从而带来了对 VIPs 的改进和理论发现验证的实验

    Jun, 2023