- 非凸高维随机优化的非光滑和非欧几里德近端项随机一阶方法
非凸优化中采用维度无关的随机一阶方法 (DISFOM) 来解决样本复杂度问题，使用小批量估计梯度以达到 ε- 稳定点的样本复杂度为 O ((log d) / ε^4)，进一步利用方差缩减可将该界限提高至 O ((log d)^(2/3) / - 基于修正偏置动量的加速随机极小 - 极大优化
针对非凸优化中最小最大优化问题，本研究提出了利用高效的 Hessian - 向量乘积的新型修正动量算法，建立了收敛条件并证明了所提算法的迭代复杂度为 O (ε^{-3})。通过在实际数据集上进行鲁棒的逻辑回归的应用验证了该方法的有效性。
- 用广义的布雷格曼散度驯服非凸随机镜像下降
该论文重新审视了当今非凸优化设置中随机镜像下降（Stochastic Mirror Descent，SMD）的收敛性。通过支持一般距离生成函数（distance generating function，DGF）的新的非凸 SMD 收敛分析， - 使用常数和衰减的学习率的随机梯度下降的迭代和随机一阶预言机复杂度
使用常数或递减的学习率的随机梯度下降法（SGD）与关键的批次大小能够最小化深度学习中的非凸优化的随机一阶复杂性，并且与现有的一阶优化器相比较具有实用性。
- 基于非凸优化的快速半监督解混合
本文介绍了一种针对半监督 / 基于库的解混合的新型线性模型，该模型结合了库不匹配的考虑，同时实现了丰度总和为一的约束 (ASC)。与传统的稀疏解混合方法不同，该模型涉及非凸优化，带来了显著的计算挑战。我们证明了交替乘子法 (ADMM) 在循 - 用于监督矩阵分解的指数收敛算法
利用监督矩阵分解 (SMF) 方法，在高维数据中学习低秩潜在因素，并提供可解释性、数据重构性和类别区分性特征，通过一个新颖框架将 SMF 提升为一个结合因子空间的低秩矩阵估计问题，并提出了一个有效算法，在各种癌症中成功识别了已知的与癌症相关 - 偏置策略梯度方法的二阶收敛性初步分析
强化学习问题的非凸目标函数使得政策梯度算法收敛到一阶稳定点，但应用于无限时限贴现设置的实际实现包括 Monte-Carlo 方法和演员 - 评论家方法，在使用有偏梯度估计器的梯度下降更新时，已有的结果只考虑了无偏梯度估计器。我们通过利用非凸 - 优秀的规则性形成大学习率的隐式偏差：稳定性、平衡和推动力的边界
优化中的大学习率、隐性偏差、非凸优化、规则性和收敛理论之间的关系。
- 非凸优化的基于符号随机重排算法的收敛性
signSGD 与随机重排（SignRR）在非凸优化中具有相同的收敛速率，我们还提出了利用减小方差的梯度和动量更新的 SignRVR 和 SignRVM 算法，且将这些算法扩展到数据在不同机器上分布的情况。
- 具有 Tsybakov 噪声的高效主动学习半空间问题的非凸优化方法
通过设计基于非凸优化的算法，本文研究了具有 Tsybakov 噪声的计算和标签效率 PAC 主动学习上的 d - 维半空间问题，其标签复杂度较先前已知的高效被动或主动算法与该设置下的信息理论下界之间的差距缩小了。
- 未知环境下的学习初始化轨迹规划
通过神经网络规划器引导非凸优化，自主飞行在未知环境中进行精确的航迹规划，并通过鲁棒的在线重规划支持实现容忍计划延迟的无人机导航。
- 针对最小化复合非凸、非光滑和非 Lipschitz 函数的次梯度方法的统一分析
本文提出了一种用于解决非凸、非光滑优化问题的近端次梯度方法（Prox-SubGrad），并通过建立一些子梯度上界及其关系，简化和统一了收敛速度的证明方案，同时还提出了一些新的随机子梯度上界条件，并为随机子梯度方法（Sto-SubGrad）建 - MKL-$L_{0/1}$-SVM
该论文介绍了一种用于支持向量机（SVM）的多核学习框架（缩写为 MKL）以及使用 $(0, 1)$ 损失函数的方法。通过给出一些一阶次优性条件，进而设计了一种快速 ADMM 求解器来处理非凸和非光滑优化问题。对合成和真实数据集进行了广泛的数 - 随机梯度下降的非凸优化中批处理大小与所需步数的关系
随机梯度下降是最简单的深度学习优化器之一，该论文通过蒙特卡洛方法对其进行了收敛性分析，并证明了使用 Armijo 线搜索的随机梯度下降在非凸优化中的性能优于其他深度学习优化器，同时还发现了批量大小对训练的影响，批量大小越大，需要的步数越少， - 应用于深度学习的非凸随机 Bregman 近端梯度方法
研究一系列随机 Bregman 近端梯度法（SBPG）方法，用于训练具有非 Lipschitz 梯度的非凸目标函数，及应用于神经网络训练中具有多项式内核函数的深度神经网络的优化算法。证明了 SBPG 及其动量版本（MSBPG）在非凸优化问题 - 带梯度剪裁和通信压缩的分散非凸优化的收敛和隐私性
本文利用 PORTER 方法对去中心化的机器学习使用通信压缩和梯度裁剪进行了研究，并提供了更好的收敛保证，同时也突出了收敛速度、压缩比率、网络连通性和隐私之间的权衡。
- 随机梯度内点算法求解光滑约束优化问题
该研究提出了一种基于随机梯度下降法的内点算法，用于最小化一个连续可微的目标函数，该函数可能不是凸函数，同时受到边界约束。该算法唯一之处在于通过计算随机梯度估计来计算搜索方向，以及通过正面和消失的邻域参数序列来定义可行区域内部邻域，从而迫使迭 - 基于数据的分段仿射决策规则的随机规划与协变量信息
利用经验风险最小化方法嵌入非凸分段仿射决策规则，学习从特征到最优决策的映射，提出 PADR 基于 ERM 方法，并证明了其在无约束问题上非渐进一致性和带约束问题上渐进一致性，利用 SM 算法解决非凸非可分 ERM 问题，建立其复杂度分析，表 - 一种新的不精确近端线性算法，具有自适应停止准则，用于鲁棒相位恢复
本文研究鲁棒相位恢复问题，提出了一种新的非精确近似线性算法，通过两个自适应停止准则解决子问题。在合成和实际数据集上的实验证明，该方法比现有方法（如原始近端线性算法和次梯度法）更为高效。
- ICML非凸函数约束优化的单循环梯度下降和扰动上升算法
本文提出了一种新的梯度下降和扰动上升（GDPA）算法，用于解决一类平滑的非凸不等式约束问题，该算法是首个能够解决非凸平滑问题和非凸不等式约束的单循环算法之一，并具有较好的收敛性能和求解效果。