在多面体环境中，我们研究了差分隐私（DP）随机凸 - 凹鞍点问题。我们提出了基于随机镜像下降的（ε，δ）-DP 算法，实现了接近维度无关的收敛速率用于预期对偶间隙，这种保证类型以前仅适用于双线性目标。对于凸 - 凹和一阶平滑的随机目标，我们的算法取得了一个速率为√(log (d)/n) + (log (d)^(3/2)/[nε])^(1/3)，其中 d 是问题的维度，n 是数据集大小。在额外的二阶平滑性假设下，我们将预期间隙的速率改进为√(log (d)/n) + (log (d)^(3/2)/[nε])^(2/5)。在此额外的假设下，我们还通过使用减少偏差的梯度估计器展示了对偶间隙受限于常数成功概率的边界为 log (d)/√n+log (d)/[nε]^(1/2)。这个结果证明了该方法的接近最优性。最后，我们展示了将我们的方法与在线学习的加速技术相结合，得到了第一个在多面体环境中不基于 Frank-Wolfe 方法的 DP 随机凸优化算法。对于凸和一阶平滑的随机目标，我们的算法获得了过量风险为√(log (d)/n) + log (d)^(7/10)/[nε]^(2/5)，在另外假设二阶平滑性的情况下，我们将速率提高到√(log (d)/n) + log (d)/√nε。所有这些结果都依赖于经典 Maurey 稀疏化引理的各种推广，可能具有独立的兴趣。

Mar, 2024

本文利用熵正则化方法，通过针对概率测度空间上的混合平衡点问题，采用对称梯度升降法求解 Wasserstein 距离来解决最小化最大问题，并取得全局收敛性。同时，提出 Wasserstein 几何下的凸凹可用于解决相关熵正则化的损失函数。

Feb, 2022

本文介绍并分析了一族新的一阶优化算法，它对镜像下降和对偶平均进行了推广和统一，并定义了新的约束优化算法，结合了镜像下降和对偶平均的优点。我们的初步模拟研究表明，在某些情况下，这些新算法显著优于现有方法。

Oct, 2019

该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。

Oct, 2012

通过研究定义在无限维函数类上的极小极大优化问题，我们限定函数在过度参数化的两层神经网络类上，并研究（i）梯度下降 - 上升算法的收敛性和（ii）神经网络的表示学习。

Apr, 2024

本篇论文提出了一种加速随机镜像下降法来解决平均函数和非强凸函数的问题，绕过了常见的小二次正则化降低性能的方法，可以更好地解决非强凸情况。

May, 2016

提供了乐观镜面下降算法的几个应用：将其用于线下优化中的镜像近端算法、扩展到 Holder 平滑函数、并将结果应用于鞍点问题；将其用于有限零和矩阵博弈中，为两个强耦合玩家提供最小化最大值均衡的渐进速率 O ((log T)/T)；再考虑问题的部分信息版本并将结果应用于凸规划，展示了近似最大流问题的简单算法。

Nov, 2013

本论文提出基于自动微分的竞争镜像下降（CMD）：一种用于解决多智能体优化问题的通用方法。通过添加拉格朗日乘数，简化约束集并获得相关的 Bregman 势函数，通过求解全局问题的正则双线性近似的 Nash 均衡来获得智能体的移动方向，并使用 Bregman 势函数诱导的对偶几何来获得下一次迭代。

Jun, 2020

本文研究了一类具有一致性属性的非单调问题中，优化镜像下降法（OMD）的收敛性和优化方式。分析表明，OMD 可以解决这些问题并推广了先前的结果，为建立凸凹博弈以外的收敛性提供了具体进展。在一系列 GAN 模型上的数值实验结果验证了分析的可行性。

Jul, 2018

本文研究在线分配问题，涉及凹收益函数和资源限制，是收益管理和在线广告中的中心问题。通过在线镜像下降，我们提出了一种通用的算法类，可以实现次线性期望遗憾，同时也讨论了这种算法在重复拍卖中的应用。

Feb, 2020