- 随机 Polyak 步长和动量：收敛保证和实际性能
在本文中，我们提出了一种基于随机梯度下降算法的新型多步骤选择方法来解决大规模随机优化问题，该方法不需要预先了解问题参数并且具有收敛性保证。
- ICML在黎曼流形上的无学习率随机优化
我们介绍了一种无需调整学习率的创新随机优化算法，用于在 Riemannian 流形上进行优化，消除了手动调整的需求并提供了更稳健和用户友好的方法。通过数值实验证实了我们的方法，表现出与依赖学习率的算法相竞争的性能，并建立了最优的高概率收敛性 - 非光滑非凸优化中的随机放缩和动量
通过在每个时间点对更新进行指数分布随机标量缩放的方式，我们提出的方法对于高度不规则的、非凸非光滑的损失函数在优化神经网络训练中表现出最优的收敛保证。这个结果是通过将在线凸优化算法转化为非凸优化算法的一般框架自然得出的。
- 基于拉格朗日法的非平滑非凸优化方法的开发
本文中我们考虑在闭凸子集上最小化一个非光滑非凸的目标函数 $f (x)$，同时满足附加的非光滑非凸约束 $c (x) = 0$。我们开发了一个统一的框架来发展基于 Lagrangian 的方法，在每次迭代中通过某些子梯度方法对原始变量进行单 - 利用 Polyak 步长适应增强策略梯度
本文介绍了在强化学习领域中广泛使用且具有收敛保证和稳定性的策略梯度算法，在解决参数敏感性问题的同时，通过实验展示了 Polyak 步长在强化学习中更快的收敛速度和更稳定的策略产生。
- 具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现
用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的 - 非凹博弈中可解的局部均衡
在非凸博弈中，通过在线梯度下降和无悔学习等方法可以有效地收敛到具有光滑效用函数的博弈中的局部均衡状态。
- 增量方法的最后迭代收敛及其在持续学习中的应用
基于应用于连续学习中的动机，我们首次获得了增量梯度和增量近端方法的最后迭代的收敛性保证，适用于一般凸平滑以及凸 Lipschitz 设置，同时几乎与平均迭代的最佳收敛性保证相匹配。
- 基于采样的安全强化学习在非线性动力系统中的应用
我们开发了一种可证明安全和收敛的非线性动态系统控制的强化学习算法，填补了控制理论的强安全性保证和强化学习理论的收敛保证之间的差距。我们的方法通过单阶段的基于采样的方式，在学习过程和实际应用中满足硬约束条件，同时享有经典的收敛保证，我们在仿真 - 方向平滑性和梯度方法：收敛性和适应性
我们开发了一种梯度下降法的新次优性边界，该边界依赖于优化路径中的目标条件，而不是全局最坏情况下的常数。我们的证明关键在于方向平滑性，这是一种梯度变化的度量，我们用它来开发上界约束。通过求解隐式方程来最小化这些上界约束，我们展示了这些方程对于 - 受限马尔可夫潜在博弈中的独立学习
本文介绍了一个针对约束马尔可夫博弈的独立策略梯度算法，利用近端点更新和正则化约束集来求解近似的约束纳什均衡，具备独立实现、分布式更新和收敛性保证的特点。
- 用于简单双层优化的加速梯度方法和凸下层问题
本研究关注简单的双层优化问题，提出一种新的双层优化方法，利用切割平面方法局部近似解决方案集合，应用加速梯度更新来减小上层目标函数，以实现子优性和不可行性错误的非渐近收敛保证。
- 分而治之：利用多目标强化学习可证明揭示帕累托前沿
多目标强化学习中的一个重要挑战是在不同偏好下获得达到最优性能的政策帕累托前沿，本文引入了迭代帕累托参考优化（IPRO），一种将寻找帕累托前沿的任务分解成一系列单目标问题的原则性算法，以此实现收敛性保证并在每一步给出到未发现帕累托最优解的距离 - 通过双层优化实现语音自动识别的联合无监督和有监督训练
本文提出了一种新颖的基于双层优化训练的方法来训练用于自动语音识别（ASR）任务的声学模型，称之为双层联合无监督和有监督训练（BL-JUST）。BL-JUST 通过使用无监督损失和有监督损失进行下层和上层优化，利用最新的基于惩罚的双层优化的进 - 鲁棒随机下降展开网络
深度展开是一种新兴的学习优化方法，在可训练的神经网络中展开剪枝迭代算法的层，本文提出使用随机下降约束进行训练的深度展开结构，理论上证明了输出序列的收敛性和对未知问题的泛化能力，同时展示了对扰动和干扰具有鲁棒性的优势。
- 无延迟参数的异步分布式优化
该研究开发了两种分布式算法（Prox-DGD 和 DGD-ATC）的异步版本，用于解决无向网络上的共识优化问题，并且与其他算法相比，我们的算法可以使用与延迟无关的步长来收敛到它们的同步对应算法的固定点集。该研究还在部分异步和完全异步情况下， - 一类基于评分的生成模型的 Wasserstein 收敛保证
在本研究中，我们针对具有最先进性能的分数生成模型（SGMs）这一最新类别的深度生成模型，基于确切的评分估计和平滑的对数凹分布假设，在 2-Wasserstein 距离上提出了收敛性保证。我们针对几种具体的 SGM 模型将结果特化，这些模型采 - 机器学习的自适应优化算法
研究通过自适应性来改进机器学习的优化算法，包括个性化和用户特定模型、可证明的后训练模型自适应、实时学习未知超参数、快速收敛的二阶方法和基于低维更新的快速可扩展的二阶方法，以提供新的见解、引入具有改进收敛性保证的新算法并改进了流行实用算法的分 - 异构数据上顺序联邦学习的收敛性分析
本文研究了联邦学习（FL）方法中两种类别：并行 FL（PFL）和顺序 FL（SFL）。对于异构数据上的顺序 FL，相比并行 FL，其收敛理论仍然欠缺。本文建立了异构数据上强烈 / 一般 / 非凸目标的顺序 FL 的收敛保证。实验结果验证了在 - 学习到的近端网络用于逆问题中的先验知识
学习的近似算子网络提供一种通用的、无监督的、表达力强的近似算子，可用于具有收敛性保证的一般逆问题。