- 本地化零阶指示优化
通过对提示优化进行全面的实证研究，我们得出两个主要结论：相对全局最优解的罕见性，局部最优解普遍存在且表现良好（洞见一）。输入域的选择对于识别表现良好的局部最优解起着重要作用（洞见二）。受到这些洞见的启发，我们提出了一种新的算法 —— 局部零 - 一种新的无导数优化方法：高斯搜索
优化方法及其应用，介绍了一种新的优化方法 —— 高斯压缩搜索（GCS），通过对高斯分布中粒子行为的仿真，GCS 旨在高效地探索解空间并收敛于全局最优解。通过实验评估及与其他优化方法的比较，突出了 GCS 的优势和特点，为对优化感兴趣的研究人 - 利用双时间尺度区间展示神经网络的收敛
研究浅层神经网络的训练动态，证明了在内层步长远小于外层步长的两个时间尺度范围内，梯度流收敛于非凸优化问题的全局最优解，这依然成立即使神经元数量不是渐近大，与神经切向核或平均场逼近等最近流行的方法有所区别，并通过实验证明，随机梯度下降符合我们 - 基于新颖性搜索的粒子群优化
本文提出了一种将粒子群优化算法与新颖性搜索相结合的方法，该方法通过新颖性搜索寻找搜索域中的新颖点，然后使用粒子群优化算法在该区域内搜索全局最优解，该方法在处理存在大量局部最优解和次全局最优解远离真正最优解的函数时表现良好。
- CVPR在线约束 K-Means 无监督视觉表征学习
提出了一种新的聚类前置任务方法 CoKe，不同于传统的聚类方法，CoKe 只对每个簇的最小大小做出约束，从而实现了更高效的聚类，并且有理论保证，通过单视图优化获得了有竞争力的性能。
- 双层神经网络中二阶动态的全局收敛性
通过 Lyapunov 法证明了在 momentum 策略下的 fully connected neural networks 的 heavy ball method 对应的二阶梯度下降算法在平均场极限下收敛于全局最优解。
- NIPS连续 DR - 次模最大化：结构和算法
本研究探讨了在一般的向下封闭凸约束下最大化非单调 DR-submodular 连续函数的问题，通过研究其几何属性提出了两种具有漂亮保证的优化算法，并扩展到更广泛的广义 DR-submodular 连续函数类以适用于更多应用场景。
- 混合方法：带对角线约束半定规划的低秩坐标下降算法
本文提出了一种低秩坐标下降方法，用于结构半定规划，该方法是极其简单易于实现的，没有自由参数，并且通常比现有技术的优化性能提高一个数量级或更好的性能。我们证明该算法是严格下降的，收敛到一个临界点，并且对于足够秩的情况，所有非最优临界点都是不稳 - NIPS应用非线性谱方法全局最优训练广义多项式神经网络
本研究提出了一种非线性谱方法用于全局优化某类前馈神经网络，在弱数据假设下可以实现全局最优解，而不需要手动参数调整，这是首个实际可行的具有全局最优性保证的方法。
- 使用张量分解和交替最小化求解多个随机线性方程混合问题
本研究提出基于张量分解和交替最小化的算法可解决混合线性回归问题，具有多项式复杂度，可在线性维度下提供全局最优性结果。
- 采用 Burer-Monteiro 分解和梯度下降的矩形矩阵完成的收敛分析
利用正定矩阵在更高维度上的升阶和简单的梯度下降算法，我们能够以高概率线性收敛到全局最优解，从而有效地解决了矩阵 Completion 问题。
- 非凸优化的快速增量方法
本文分析了一种用于优化非凸问题的快速递增聚合梯度方法，在递增一阶预言框架中分析了 SAGA 算法，并表明它比梯度下降和随机梯度下降更快地收敛到稳定点。此外，我们还讨论了 Polyak 特殊类的问题，针对这类问题，SAGA 方法的收敛速度为线 - 非凸相位同步
对于给定的嘈杂的两两相对相位测量问题，我们基于非凸最小二乘优化模型，通过修正过的幂方法得到 全局最优解，相较于凸方法更为简单高效。在先前的研究中，我们还确定了二阶必要最优性条件在同样噪声条件下是充分的，尽管该问题是非凸的。
- 一种收敛的梯度下降算法，用于基于随机线性测量的秩降和半定规划
本研究提出了一种基于梯度下降的简单、可扩展、快速的算法来优化处理秩最小化问题及其相关的半定规划问题。通过对一个秩为 r 和条件数为 κ 的正半定 n x n 矩阵进行 O (r³κ²n log n) 次随机测量，我们证明了该方法可线性收敛于 - 关于主题模型变分推断的一些可证明正确的案例
本文针对潜变量模型中的主题模型，首次给出了变分推理算法收敛于全局最优解的分析，也证明了在主题 - 词矩阵和主题先验的自然假设下，变分推理可有效学习主题模型的最优参数。
- 关于随机非凸问题的递进式优化
本文提出了基于新的毕业优化技术的一级算法，并确切分析了其全局最优解收敛的实现条件，实现了稳定收敛率。同时，我们还将该算法扩展到随机的非凸优化，并获得了类似的收敛速率。在零阶优化问题下，我们设计了一种变种算法，其收敛速度为 O (d^2/ ε - 径向网络中最优功率流的精确凸松弛
通过将可行集合轻微缩小，针对径向网络，可以在先验可检查的条件下通过二阶锥规划 (SOCP) 松弛恢复 OPF 的全局最优解。针对 IEEE 13、34、37、123 节点总线网络和两个实际网络，该条件成立并具有物理解释。
- 使用 Bregman 散度和单调重新定向学习排序
该论文介绍了一种基于单调重定位的学习排序方法，它最小化了训练得分的所有单调递增转换和参数化预测函数之间的差异，该方法可轻松实现，可高效并行，同时也具有全局最优保证。