- Adagrad 在各向异性光滑下的大批量分析
通过在大批量设置下对 Adagrad 进行新分析，证明了它在凸平滑目标和非凸平滑目标上不会因批量大小增加而收敛减慢，因此在大批量设置中仍然可以比 SGD 更快地实现收敛，进而解决了理论和实践之间的差距。
- MM评估扩散型生成模型的设计空间
对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。
- 带有延迟的分布式随机梯度下降：基于随机延迟微分方程的框架
基于随机时滞微分方程（SDDE）和概率到达梯度泊松近似，提出了统一框架来分析和优化异步分布式随机梯度下降（ASGD）的收敛性，揭示了 ASGD 的阻尼系数、延迟统计特性和收敛条件，以及调度策略的优化。同时表明增加激活的工作人员数量并不一定加 - 驯服基于分数扩散的无限维非线性逆问题
在这项研究中，我们介绍了一种能够在函数空间中解决贝叶斯逆问题的抽样方法，它不需要似然函数的对数凹性，可以用于非线性逆问题。该方法利用了最近定义的无限维度基于得分的扩散模型作为基于学习的先验，并通过在函数空间上定义的 Langevin 类型的 - 不完善通信信道上的分散式联邦学习
本研究分析了不完美通信渠道对分散式联邦学习（D-FL）的影响，并确定了每轮训练的最佳本地汇总次数，以适应网络拓扑和不完美通道。通过从需要完美通道和汇总的理想全局模型中推导出具有不完美通道的本地汇总 D-FL 模型的偏差，揭示了过多的本地汇总 - 安全强化学习中平衡奖励与安全性优化：梯度操控视角
利用梯度操作理论解决强化学习中奖励和安全之间的冲突，通过提出一种软切换策略优化方法实现奖励和安全的平衡，进而提供一个安全强化学习框架。
- 自适应异构客户端采样用于无线网络上的联邦学习
设计适应性客户采样算法以最小化墙钟收敛时间，从而解决系统和统计异质性对联合学习过程的影响。
- 从随机微分方程的角度插拔播算法收敛分析
通过将 PnP 算法描述为连续随机微分方程的马尔科夫过程，我们揭示了更高层次的 PnP 算法框架，根据相应 SDE 的可解条件，为 PnP 的收敛性提供了统一的理论基础，并发现了一个更弱的条件，即具有 Lipschitz 连续测量函数的有界 - 耦合分布式随机逼近的失配优化率分析
我们提出了一种耦合的分布式随机逼近算法来解决具有不完美信息特征的参数化分布式优化问题，对该算法的收敛性进行了定量分析，并证明了决策变量的均方误差受网络连接性和迭代次数的影响，此外，对达到主导收敛速率所需的临时迭代次数进行了分析，并通过数值实 - 平滑 Q-learning 算法的统一 ODE 分析
通过异步强化学习和平滑版本的简化框架，提出了更加广泛和统一的 Q-learning 及其平滑变体的收敛性分析方法。
- 针对网络物理系统和机器人系统的随机在线优化
我们提出了一种新颖的基于梯度的在线优化框架，用于解决在网络物理和机器人系统中经常出现的随机规划问题。我们的问题形式化考虑了模拟网络物理系统的约束条件，该系统通常具有连续的状态和动作空间，是非线性的，并且状态只被部分观测到。我们还在学习过程中 - 关于自适应方法在连续学习中的收敛性
该论文介绍了对于连续学习中的收敛性分析，提出了一种适应性方法用于非凸连续学习，该方法调整先前和当前任务的梯度的步长，以达到与 SGD 方法相同的收敛速度，并且在减轻每次迭代的灾难性遗忘项的情况下，改进了连续学习在几个图像分类任务中的性能。
- 广义平滑非凸优化中的 RMSProp 和 Adam 的收敛保证与仿射噪声方差
该论文在最宽松的坐标普适光滑性和仿射噪声方差假设下，为 RMSProp 和 Adam 在非凸优化中提供了首个收敛性分析，首先分析了 RMSProp，然后将分析推广到 Adam，表明它们的迭代复杂度与复杂性下界一致。
- 连续归一化流在概率分布学习中的收敛性
通过连续归一化流（CNFs）和线性插值，我们研究了采用匹配流目标函数学习概率分布的 CNFs 在从有限随机样本中学习概率分布方面的理论属性，并建立了基于 Wasserstein-2 距离的分布估计器的非渐进误差界。
- 在线神经演员 - 评论家算法的弱收敛分析
使用在线演员 - 评论家算法训练的单层神经网络在隐藏单元数量和训练步骤数量趋于无穷大时，收敛于随机常微分方程 (ODE)。
- 一种非凸优化的随机拟牛顿方法
本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的 O (ε^(-3)) 样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。
- 具有适应性数据异构性的拜占庭弹性联邦学习
该研究论文研究了在存在恶意拜占庭攻击和数据异质性的情况下的联邦学习。提出了一种新颖的鲁棒平均梯度算法 (RAGA)，其利用几何中位数进行聚合，并可以自由选择局部更新的轮次。通过对不仅是强凸而且非凸损失函数进行收敛性分析，以及考虑到恶意用户的 - 具有随机重排的随机外推算法：对变分不等式的改进收敛性
Stochastic Extragradient 的随机重排列变体 SEG-RR 收敛分析：证明 SEG-RR 对于 VIPs 的三类问题具有更快的收敛速度，并在单调情况下无需大批次样本即可保证任意精度的收敛。
- 全局收敛性：在平均奖励马尔可夫决策过程中的策略梯度
该研究报告首次提出了有限时间全局收敛分析方法，针对无限时间平均奖励马尔可夫决策过程中的策略梯度方法。具体而言，我们关注的是具有有限状态和动作空间的遍历型表格型马尔可夫决策过程。我们的分析表明，策略梯度迭代以 O (log (T)) 的子线性 - MUSIC：在分布式优化中加速收敛的不准确和准确方法
在本文中，我们提出了一种名为 MUSIC 的加速框架，允许每个代理在每次迭代中执行多次本地更新和一次组合。我们将不精确和精确的分布式优化方法应用于该框架，从而开发出两种新算法，表现出高速线性收敛和高通信效率。我们的收敛分析揭示了不精确策略引