本论文研究了镜像下降法和信息比率之间的关系，探讨了在采样信息导向时，采用合适的损失估计器和探索分布的镜像下降法和信息导向采样的贝叶斯后验遗憾上限呈现相同的下降趋势，并且本文还提供了一种有效的算法用于敌对赌博问题中，该算法的遗憾上限与信息理论上限完全匹配。

Sep, 2020

该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。

Oct, 2012

零阶优化利用零阶查询近似一阶和二阶信息的理论研究较少，本文提出了一种重新参数化的目标函数，通过小干扰在极小值点和原始目标函数的 Hessian 逆之间达到极值，并提出了 MiNES 算法来最小化该目标函数，证明了该算法的协方差矩阵估计收敛至目标函数的 Hessian 矩阵的逆，并给出了收敛速率和协方差矩阵如何促进收敛速率。

Aug, 2023

本文讨论梯度下降算法中超参数模型中的隐含偏差问题，将超参数模型下的训练轨迹视为不同目标函数上的镜像下降，对该现象在 commuting parametrization 条件下进行了表征，证明了任何 commuting parametrization 的梯度流都等价于相关 Legendre 函数的连续镜像下降。

Jul, 2022

提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

Jun, 2024

在多面体环境中，我们研究了差分隐私（DP）随机凸 - 凹鞍点问题。我们提出了基于随机镜像下降的（ε，δ）-DP 算法，实现了接近维度无关的收敛速率用于预期对偶间隙，这种保证类型以前仅适用于双线性目标。对于凸 - 凹和一阶平滑的随机目标，我们的算法取得了一个速率为√(log (d)/n) + (log (d)^(3/2)/[nε])^(1/3)，其中 d 是问题的维度，n 是数据集大小。在额外的二阶平滑性假设下，我们将预期间隙的速率改进为√(log (d)/n) + (log (d)^(3/2)/[nε])^(2/5)。在此额外的假设下，我们还通过使用减少偏差的梯度估计器展示了对偶间隙受限于常数成功概率的边界为 log (d)/√n+log (d)/[nε]^(1/2)。这个结果证明了该方法的接近最优性。最后，我们展示了将我们的方法与在线学习的加速技术相结合，得到了第一个在多面体环境中不基于 Frank-Wolfe 方法的 DP 随机凸优化算法。对于凸和一阶平滑的随机目标，我们的算法获得了过量风险为√(log (d)/n) + log (d)^(7/10)/[nε]^(2/5)，在另外假设二阶平滑性的情况下，我们将速率提高到√(log (d)/n) + log (d)/√nε。所有这些结果都依赖于经典 Maurey 稀疏化引理的各种推广，可能具有独立的兴趣。

Mar, 2024

本研究提出了一种基于信息几何学的优化方法，使用自适应的、时变的、基于分位数的目标函数变换进行自然梯度上升。该方法不假设目标函数是可优化的，并通过时间离散化产生具体算法。理论上显示该算法最小化了多样化的损失，初步实验也展示了该算法具有在单次运行中做多次全局探索的能力。

Jun, 2011

本文研究了一类具有一致性属性的非单调问题中，优化镜像下降法（OMD）的收敛性和优化方式。分析表明，OMD 可以解决这些问题并推广了先前的结果，为建立凸凹博弈以外的收敛性提供了具体进展。在一系列 GAN 模型上的数值实验结果验证了分析的可行性。

Jul, 2018

对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

Nov, 2023

本研究主要探讨过参数模型中采用 stochastic mirror descent 方法，在足够小的步长下，通过初始化接近全局最小值，其可以收敛和迭代到一种接近 Bregman 散度且具有更好泛化性能的解决方案，并探究该方法中不同的隐式正则化方式对结果表现的影响。

Jun, 2019