- 分支定界性能估计编程：一种构建最优优化方法的统一方法学
我们提出了分支定界性能估计规划（BnB-PEP），该方法能建立凸优化和非凸优化的最优一阶方法，通过采用定制的分支定界算法将找到最优优化方法解决为一个非凸但实际上易于处理的二次约束二次优化问题，通过直接处理非凸性，BnB-PEP 提供了更大的 - 约束马尔科夫决策过程的更快算法和更精细分析
本论文提出了一种新的原始对偶方法来解决带限制的马尔可夫决策过程问题，通过熵正规化策略优化器、对偶变量正规化器和 Nesterov 加速梯度下降对偶优化器等创新方法，全局收敛至凸优化下的凸约束，显示了目前已有的原始对偶算法无法达到的最优复杂度 - 非凸随机优化中的随机 Anderson 混合
提出了一种基于 Anderson Mixing 的随机方法，称为 SAM，用于求解非凸随机优化问题，并应用于训练各种神经网络，包括 CNN、ResNet、WideResNet、ResNeXt、DenseNet 和 RNN，实验证明该方法具有 - MM小的随机初始化类似于谱学习：超参数低秩矩阵重建的优化和泛化保证
本文针对超参数模型上的梯度下降进行了研究，证明小随机初始化后的梯度下降与受欢迎的谱方法相似，并且可以在全局最优解附近泛化良好。具体而言，对于通过自然的非凸公式重构低秩矩阵的问题，我们证明了梯度下降迭代的轨迹可以近似分解为三个阶段。
- FedDR—— 用于非凸联邦复合优化的随机 Douglas-Rachford 分裂算法
我们提出了两种新的基于异步实现的算法 FedDR 和 asyncFedDR 用来解决联邦学习中的基本非凸复合优化问题，它们可以处理统计和系统异质性，并通过异步更新方式与最优通讯复杂度匹配。
- 非凸矩阵分解的噪声梯度下降收敛于平坦极小值
本文研究了非凸矩形矩阵分解问题，通过引入噪声来解决全局极小值的不确定性，表明噪声向特定最优解施加了影响。
- 减少异质性的联邦学习中的偏差 - 方差减小的局部 SGD
本文介绍了一种新型的本地算法 BVR-L-SGD，用于非凸分布式优化，它基于小二阶异质性的本地目标，建议在同步工作时随机选择本地模型之一而不是取其平均值，并在理论上证明了 BVR-L-SGD 在小异质性的本地目标下比以前的非本地和本地方法都 - ICMLPAGE: 简单且最优的概率梯度估计器用于非凸优化
通过引入新的 “概率梯度估计器”（PAGE），该研究证明了在非凸优化问题中，当函数满足 Polyak-Lòjasiewicz 条件时，PAGE 可以自动切换到更快的线性收敛速率，并且在深度学习实验中 PAGE 不仅训练速度更快，而且测试准确 - ICML非凸优化的快速随机交替方向乘子方法
本文提出了一个基于 SPIDER 的更快的用于非凸优化的随机交替方向乘法方法（SPIDER-ADMM），证明了 SPIDER-ADMM 能够实现记录性的增量一阶 Oracle 复杂度，并且扩展了 SPIDER-ADMM 到在线设置，并提出了 - 通过复制交换 Langevin 扩散加速非凸学习
该研究论文提出了使用不同温度下的 Langevin 扩散进行复制交换的优化算法，并从收敛和大偏差的角度分析了其加速效应，同时通过离散化算法量化了其离散化误差。
- ICML非凸张量补全的不确定性量化：置信区间、异方差性和最优性
研究噪声张量完成中的非凸优化分布和不确定性，利用 Cai 等人 (2019) 提出的两阶段估计算法，表征了这种非凸估计器的分布，进一步构建了有效的和简短的置信区间，揭示了非凸张量完成的统计最优性。
- 用于非凸联邦优化的随机梯度方法的统一分析
本文研究了 SGD 变体在平滑非凸情况下的表现，并提出了一种通用的假设模型来精确建模随机梯度的二阶矩，并给出了所有满足统一假设的方法的单一收敛分析。此外，作者提出了两种新的通用算法框架来处理分布式 / 联邦非凸优化问题，并说明这些方法均满足 - MM非凸世界中 SGD 的更好理论
本篇论文使用类似于期望光滑性假设的新方法来研究随机梯度下降法在非凸优化中的收敛率，并在考虑多种采样策略和小批量大小的情况下，探讨有限和优化问题的影响。
- D-SPIDER-SFO: 非凸问题快速收敛的分布式优化算法
提出一种分散化版本的 SPIDER-SFO 算法（D-SPIDER-SFO），该算法在解决非凸优化问题时具有与其集中化版本相似的计算复杂度，达到了解决分散化网络中非凸优化问题的最先进水平，具有非常高的效率。
- MM联邦学习中局部下降方法的收敛性
本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.
- ICML非凸优化的改进零阶方差约减算法及分析
本文介绍了两种零阶随机算法的优化和改进，其中一种通过新的 ZO-SVRG-Coord-Rand 算法和分析结果发现，比现有的同类算法以及 ZO-GD 和 ZO-SGD 更为优秀，另一种通过新的 ZO-SPIDER-Coord 算法有效降低了 - 通过平滑振幅流进行相位恢复
通过平滑振幅流方法，提高相位恢复的效果并解决了非光滑问题，相较于之前的方法有更好的表现和更快的收敛速度。
- 短且稀疏反卷积 —— 一种几何方法
本文提出一种可解决非实际某些实例的短稀疏反卷积问题的算法，并将该理论的关键思想用于开发出对于多个应用领域的数据表现良好的实用算法，同时提出了缓解实际问题中不良条件带来的挑战的启发式方法。
- 具有非线性等式约束的非凸优化问题的近端增广 Lagrangian 复杂度
分析了 Proximal augmented Lagrangian 模型在具有非线性等式约束的非凸优化问题中的最坏情况复杂度，研究了当使用 Newton 共轭梯度算法来解决子问题时的总迭代复杂度和操作复杂度，并探讨了一种自适应方案来确定满足 - IJCAI重球算法总能逃离鞍点
该论文证明了非凸优化算法及随机初始化方法的重要性，并且探讨了这些算法是否能够避免马鞍点问题。该研究的结论是：使用随机初始化的非凸重球算法能够成功地避免马鞍点问题。