- 双方差异降低：无需一阶梯度的复合优化问题的平滑技巧
零阶局部双重方差约减（ZPDVR）方法利用平均技巧来减少采样方差和坐标方差，其在复合优化问题中通过随机梯度估计调用随机零阶神谕（SZO）的期望次数为 O (1) 每次迭代，以及在强凸光滑环境中实现了最优的 O (d (n+κ) log (1 - 线性规划的费舍尔 - 饶梯度流和状态 - 动作自然策略梯度
研究了基于状态 - 动作分布的费舍尔信息矩阵的另一种自然梯度方法，并表明其具有线性收敛性和几何相关的错误估计，改善了现有结果。进一步扩展了这些结果，对于扰动费舍尔 - 劳梯度流和自然梯度流，展示了次线性收敛性以及近似误差的界限。
- AAAIFedNS: 快速草图牛顿算法用于联邦学习
提出了一种名为 Federated Newton Sketch 方法（FedNS）的算法，通过通信 sketched square-root Hessian 来逼近中心化的 Newton's 方法，以此解决了 Hessian 矩阵的通信复杂 - 关于 Sinkhorn 算法和选择建模
基于路斯选择公理的广泛类选择和排名模型，包括布拉德利 - 特里 - 路斯和普拉克特 - 路斯模型，我们证明相关的最大似然估计问题等同于具有目标行列和的经典矩阵平衡问题。这种观点打开了两个看似无关的研究领域之间的门槛，并使我们能够将选择建模文 - 基于元素的 RSAV 算法用于无约束优化问题
我们提出了一种新的优化算法，元素级放松标量辅助变量（E-RSAV），它满足无条件能量耗散定律，并展现了修改后能量与原能量之间的改进对齐。我们的算法在凸面设定中具有线性收敛的严格证明。此外，我们还提出了一种简单的加速算法，在一元情况下将线性收 - 强凸性下 Nesterov-1983 的线性收敛
使用高分辨率微分方程框架，研究了基于梯度的优化算法的收敛性问题，证明了 Nesterov 加速梯度下降方法和 FISTA 算法在强凸函数上都能以线性收敛，并且找到了近端次梯度范数的线性收敛。
- Hadamard 参数化下策略梯度的线性收敛
研究了基于 Hadamard 参数化的确定性策略梯度在表格设置下的收敛性，证明了算法的全局线性收敛性，并且在此基础上，进一步表明该算法在 $k_0$ 次迭代后具有更快的局部线性收敛速率，其中 $k_0$ 是仅依赖于马尔可夫决策过程问题和步长 - ReSync：基于黎曼次梯度的强鲁棒性旋转同步
ReSync 是一种基于 Riemann 子梯度的算法，用于解决在各种工程应用中出现的稳健的旋转同步问题，它通过对旋转群进行最小二乘优化求解旋转，并可以在满足一定条件下线性收敛至真值旋转。
- ICML交替局部枚举 (TnALE): 使用较少评估解决张量网络结构搜索
提出 TnALE 算法，通过局部枚举轮流更新每个结构相关变量，大大减少了目标函数的评估次数，理论上证明了 TnALE 和 TNLS 都可以达到线性收敛，比较了两算法的评估效率，结果表明 TnALE 可以比最先进算法更少地找到实用的 TN 排 - ICML学习到的可解释剩余 Extragradient ISTA 稀疏编码
本文提出一种基于梯度外推的残差结构具有理论保证和解释能力的 LISTA 算法 (ELISTA)，可用于解决稀疏编码问题，具有线性收敛性，并在实验中实现了验证。
- 带正则化的政策镜像下降算法：具有线性收敛的广义框架
提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。
- ICMLWeston-Watkins SVM 子问题的精确求解器
本研究提出了一种新的重新参数化方法，用于精确地求解 Weston-Watkins 支持向量机的子问题，然后用此算法加速在多分类问题下线性 WW-SVM 的求解过程，在大量类别时比目前最先进的求解器展现出更快的速度，并证明了整个求解器的线性收 - 分布式优化的线性收敛算法：免费发送更少的比特！
提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。
- 局部 SGD：统一理论和新高效方法
该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强 - 谱 Frank-Wolfe 算法：严格互补性和线性收敛性
本研究提出一种新颖的基于谱 Frank-Wolfe 算法来处理凸优化问题的方法，该算法采用快速计算梯度的少量特征向量，并在每次迭代中解决一个小规模的 SDP 问题，以克服传统 Frank-Wolfe 算法由于忽略特征值重合而导致的收敛缓慢的 - 具有加速收敛的方差缩减分散随机优化
本文提出一种名为 GTVR 的随机分散算法框架，其基于本地方差缩减和全局梯度跟踪的技术，用于解决大规模，有可能无法集中处理私有数据的优化问题。我们在本文中重点研究了 GTVR 并介绍了两种算法 GT-SAGA 和 GT-SVRG，证明它们在 - 具有线性收敛率的分散近端梯度算法
本文研究了一类非光滑的分散式多智能体最优化问题，该代理旨在最小化局部强凸光滑组成部分和一个共同的非光滑项。我们提出了一个通用的原始对偶算法框架，统一了许多现有的最先进的算法。我们在非光滑项存在的情况下，证明了所提出的方法向确切解的线性收敛。 - 具梯度跟踪和方差缩减的网络分布式优化通信效率提高
本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。
- 梯度基方法在全谱游戏中的紧密一致分析
通过分析梯度方法在达到纳什均衡时的线性收敛特性，证明了变异梯度方法在双线性博弈和强单调性博弈中的各种表现，并发现了这些方法在极端情况下收敛机制的差异。同时证明了变异梯度可以在任意外推次数的情况下实现优化率，一个广泛算法类别的最佳值
- IJCAI少量梯度评估的政策评估 SVRG
本文提出了 Stochastic Variance-Reduced Gradient 方法的两种变体应用于 Policy Evaluation，可以显著减少梯度计算次数，同时保持线性收敛速度，理论分析表明这些方法不需要在每次迭代中使用整个数