Apr, 2023

带函数约束的随机变分不等式问题的一阶方法

PDF
TL;DR本文提出了适用于具有各种设置的函数约束 VI 问题的新型一阶方法，包括具有随机算子和 / 或随机约束的平滑或非平滑问题。通过使用算子和约束的外推来更新变量和 Lagrange 乘子，我们的算法能够实现最优操作员或样本复杂度。对于平滑的确定性问题，我们还提出了一种新的单循环自适应 Lagrangian 外推方法，可以自适应地搜索和显式地绑定 Lagrange 乘子。此外，我们的算法可以轻松地扩展到具有耦合函数约束的鞍点问题。
monotone variational inequalityfunction constrained vifirst-order methodsoperator complexityadaptive lagrangian extrapolation
发现论文，激发创造
  • 随机一阶方法用于凸约束优化和非凸约束优化

    本论文提出了 Constraint Extrapolation 和 proximal point method 两种方法来解决 functional constrained optimization 问题，分别针对 convex 和 nonconvex problems，通过 mathematical analysis 得到具体的收敛率和收敛条件。

    Aug, 2019

  • 具有函数约束的变分不等式问题的原始方法

    本研究提出了一个简单的原始方法，称为约束梯度法（CGM），以解决具有功能约束的变分不等式问题，并建立了非渐近收敛性分析，同时利用基于二次规划的更便宜的预算。

    Mar, 2024

  • 锥约束非单调变分不等式问题的增广 Lagrangian 方法

    本文提出了一种名为 ALAVI 的增广 Lagrangian 原始 - 对偶方法，用于解决带有凸锥约束的非单调（混合）变分不等式模型，并证明了该方法的收敛性和全局收敛速率以及具有单调映射时的加速收敛速率，同时进行了大量的数值实验以证明方法的实用性。

    Jun, 2023

  • 随机变分不等式的简洁优化方法，II：马尔可夫噪声与强化学习策略评估

    本文研究了马尔可夫噪声下的随机泛型不等式问题，并提出了用于强化学习中的随机策略评估问题的算法，包括改进的标准 TD 算法和快速 TD 算法等。

    Nov, 2020

  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022

  • 具有方差缩减的随机变分不等式外推法

    我们提出了一种超梯度方法，它具有远离零的步长，适用于仅需要伪单调性的随机变分不等式。我们提供了收敛性和复杂性分析，其可允许无界可行集，无界算子，或不均匀的预测方差，并且不需要任何规则化。

    Mar, 2017

  • 无投影方差缩减方法与随机受约束多层次组合优化

    该论文研究了随机受限多层优化的无投影算法。介绍了新的无投影方差缩减算法并分析了它们在不同条件下的复杂性，包括梯度映射和 Frank-Wolfe 间隙准则，并通过分阶段适应进一步获得了凸函数和强凸函数的复杂性，数值实验证明了该方法的有效性。

    Jun, 2024

  • 关于广义单调算子变分不等式的非欧几里得外推方法的收敛性质

    本文研究一类广义单调变分不等式问题及其非欧几里得外推梯度算法，并通过数值实验表明该算法在求解大规模问题上具有明显优势。

    Nov, 2013

  • 一种适应于光滑度和噪声的变分不等式通用算法

    该论文提出了一种基于 Mirror-Prox 算法的普适性算法，适用于具有噪声和非噪声数据以及平滑和非平滑函数的情况。算法通过适应性步长的选择来处理相关的约束问题，可以用于解决凸最小化和凸 - 凹鞍点问题等应用。

    Feb, 2019

  • 具有马尔可夫噪声的一阶方法：从加速到变分不等式

    该论文提出了一种针对马尔可夫噪声的随机优化问题的优化方法，使用随机批处理方案和多层蒙特卡洛方法，在非凸和强凸情况下实现对梯度方法和变分不等式的统一理论分析。此外，该研究消除了以前关于马尔可夫噪声的限制假设，并提供了与优化问题的强凸情况相匹配的下界。

    May, 2023