- 极大极小优化的最终迭代收敛速率
该研究论文阐述了针对非凸函数最优化问题中的后向迭代收敛的挑战性，介绍了哈密顿梯度下降算法以及协作优化算法，并证明了这些算法在某些情况下表现出线性收敛性。
- 一种用于凸优化的统一方差降低加速梯度方法
提出了 VAriance-Reduced Accelerated Gradient 算法来解决求解光滑凸有限和问题，该算法具有良好的收敛性能并且可以用于求解随机有限和问题。
- 一种支配所有的方法：用于数据、参数和多种新方法的方差缩减
提出了一种通用的降方差的方法，适用于解决带有大量训练样例或大型模型维度或两者都有的正则化经验风险最小化问题。该方法可以减少已知的多种方法，同时提供了一种单一的定理，该定理可以证明在平滑和拟强凸性假设下的线性收敛性。此外，该方法还为随机梯度和 - ICML随机迭代硬阈值法用于基于图的稀疏优化
本文介绍了一种基于随机梯度下降法的方法，用于解决图结构稀疏约束问题，并证明该算法具有与批量学习设置中相当竞争的线性收敛率。
- 基于梯度量化和方差约束的随机分布式学习
研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。
- 在有限通信条件下维持分布式学习和优化的线性收敛性
研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。
- 去中心化随机优化和 Gossip 算法的压缩通信
提出了一种基于 gossip 的分散随机优化算法 CHOCO-SGD 和解决平均一致性问题的新型 gossip 算法 CHOCO-GOSSIP，旨在在机器学习任务上实现数据分布和优化，有效降低通信成本并能提高算法效率。
- MM函数相对于集合的条件数
本文研究了不同 iable 凸函数的条件数及其与其性质和一阶方法的线性收敛性之间的关系，提出了相对于参考凸集和距离函数对的可微凸函数的相对条件数，并在特定条件下对其进行了限定。
- 随机动量方法在 Wasserstein 距离中的加速线性收敛
研究了 Polyak 重球法，Nesterov 加速梯度以及加速投影梯度法等动量方法在梯度噪声情况下的收敛性，证明了其在小于一定噪声上限后仍能保持加速线性速率的收敛性并且提出了步长、动量参数和噪声幅度与加速线性速率之间的关系模型。此外，还对 - 线性约束非凸优化的乘子近端交替方向法
本文提出了一种新的 proximal ADMM 算法，使用平滑后的原始迭代的序列并在每次迭代时向增广拉格朗日函数中引入一个二次近似项。该算法的迭代收敛到这个问题的一个站点，特别是当目标函数是二次函数时，证明算法的线性收敛性。
- 关于重球算法的非遍历收敛分析
本文提出了改良后的重球法收敛复杂度分析，对高度矫正的目标函数证明了具有常数步长的重球算法的非遗传 O（1/k）率结果，同时在简化其步长和惯性参数的条件下，证明了更弱的适用条件下的线性收敛性。研究展开成多块版本的重球算法，结果适用于循环和随机 - 用于网络分布式优化的推拉梯度方法
本文介绍了一种新的分布式梯度方法，称为 “推 - 拉梯度方法”，利用两种不同的图形实现代理之间的信息交换，并在同步和异步随机传递的情况下，线性地收敛于重要的自治网络。
- Hamiltonian Descent 方法
研究了一种基于动力学系统模拟的优化方法，该方法使用常量步长和一阶梯度信息，在更大的凸函数类中实现线性收敛性，包括那些在其极小值点处可能具有奇异或未有界的二阶导数，该方法的动力学梯度映射可以设计成以凸共轭的形式整合信息，允许在非平滑或非强凸的 - 加速贪心坐标下降法
研究加速贪婪坐标下降算法，在理论和实践中分别探究 $O (1/k^2)$ 收敛及其在强凸函数方面加速线性收敛的性能，引入并研究了两种算法：加速半贪婪坐标下降（ASCD）和加速贪婪坐标下降（AGCD）算法，实验结果表明 AGCD 优于其他加速 - Newton 方法在无强凸性或 Lipschitz 梯度情况下的全局线性收敛
证明了牛顿法对于具有稳定 Hessians 的目标函数具有全局收敛的线性速度，在这一类问题中包括了许多不是强凸的函数，如逻辑回归，相比于仅在类似条件下实现次线性 $O（1/t^2）$ 收敛率的一阶方法，我们的线性收敛结果是（i）仿射不变的， - 分布式特征下的监督学习
本研究探讨了在大规模数据集和大维特征空间场景下的学习问题，通过考虑网络中代理人传播的特征信息，并提出了一种新颖的动态扩散构造、管道策略和方差减少技术相结合的分布式学习算法，能够实现在原始域中的线性收敛和全局最小值解。
- 混合条件梯度法：解除条件梯度法的约束
提出了一种混合条件梯度方法，可用于在多面体 P 上最小化平滑凸函数，该方法结合了 Frank-Wolfe 算法和基于梯度的步骤，并通过保持迭代点为 P 的极端点的有限数量的稀疏凸组合，避免了向 P 投影的优点，实现了强凸函数的线性收敛。
- 非强凸凸凹鞍点问题的原始 - 对偶梯度法的线性收敛
本研究针对具有凸 - 凹鞍点问题的优化进行了研究，证明了即使 $f$ 不强凸，使用一般的原始 - 对偶梯度方法也可以实现线性收敛，并给出了具有有限和结构的凸 - 凹鞍点问题的原始 - 对偶随机方差减少梯度方法的分析。
- NIPS数据编码在分布式优化中的缓解残留问题
本文提出了一种直接在数据中嵌入冗余来处理缓慢任务的新方法，通过一些编码技巧将复制数据的策略转换到线性计算过程中，从而利用节点的任意变化在没有等待慢节点的情况下完成散列计算，并通过实验结果表明此方法的优势。
- NIPS线性收敛随机重球法用于最小化泛化误差
本文针对随机重球方法进行分析与研究，证明了该方法的线性收敛性，并着重探讨了期望损失的最小化以及动量项所起的作用。