该研究探讨了三家在线凸优化算法家族：follow-the-proximally-regularized-leader（FTRL-Proximal）、正则化双平均（RDA）和组合目标镜像下降。研究证明了所有这些算法都是通用FTRL更新的实例。此外，通过使用紧凑的表示方法，文中还提出了一种更好的算法性能估计方法，在真实数据集上展现出了更好的性能。

Sep, 2010

对于一般的凸在线学习问题，我们证明镜像下降法总是可以实现（几乎）最优的遗憾保证。

Jul, 2011

该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同Bregman散度的抛物线梯度强化学习法比常规TD学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个l1正则化Bellman方程的稀疏不动点时具有显著的计算优势。

Oct, 2012

本研究证明了镜面下降算法和条件梯度法广义化算法的等价性，并说明了在某些问题中，如具有非平滑损失或非平滑正则化器的监督式机器学习问题中，原始次梯度法和对偶条件梯度法是形式上等价的；对偶解释导致了镜面下降的线性搜索形式以及对原始-对偶证书的收敛性的保证。

Nov, 2012

本文提供了一种新的方法，将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器，并演示了该方法的强大功能。

Apr, 2013

本文介绍了镜像下降算法和交替方向乘子法，提出了 Bregman ADMM 框架，实现了问题结构的利用，并且在质量传输问题中实现了大规模并行计算。

Jun, 2013

提供了乐观镜面下降算法的几个应用：将其用于线下优化中的镜像近端算法、扩展到 Holder 平滑函数、并将结果应用于鞍点问题；将其用于有限零和矩阵博弈中，为两个强耦合玩家提供最小化最大值均衡的渐进速率 O((log T)/T)；再考虑问题的部分信息版本并将结果应用于凸规划，展示了近似最大流问题的简单算法。

Nov, 2013

本文通过引入新的后悔分解和Bregman散度的泛化来对在线学习的两个算法进行分析，得出了较为简洁的结论，提出了对于复合目标的算法，并提供了一种细化的算法族。

Sep, 2017

本文提出了一种简单的OMD算法技巧-稳定化，以动态学习率的情况下避免OMD线性遗憾，通过在经典OMD收敛分析下进行调整来获得与DA相同的性能保证。

Jun, 2020

该论文重新审视了当今非凸优化设置中随机镜像下降（Stochastic Mirror Descent，SMD）的收敛性。通过支持一般距离生成函数（distance generating function，DGF）的新的非凸SMD收敛分析，该论文克服了先前结果对于具有光滑连续的梯度的可微性DGF的限制，并仅依赖于标准假设。此外，该论文通过Bregman前向-后向包络建立了收敛性，该包络是比常用的梯度映射的平方范数更强的度量。进一步，该论文将结果扩展到在次高斯噪声下的高概率收敛和在广义Bregman Proximal Polyak-Lojasiewicz条件下的全局收敛。此外，通过利用非光滑DGFs，我们展示了改进的SMD理论在各种非凸机器学习任务中的优势。值得注意的是，在非凸差分隐私（differentially private，DP）学习的背景下，我们的理论提供了一个（几乎）维度无关的效用界算法。对于训练线性神经网络的问题，我们开发了可证明收敛的随机算法。

Feb, 2024