本文提出了针对非凸和凸优化的零阶随机逼近算法，并关注解决约束优化、高维设置和避免鞍点等问题。我们探索了结构稀疏假设的优点，并提出了一种使用零阶信息的被截断随机梯度算法和一种避免鞍点的算法，并讨论了它们的收敛率。

Sep, 2018

本文探讨了利用仅包含部分和嘈杂信息的凸函数最小化问题，特别着重于高度平滑问题的凸优化问题，包括逻辑回归等。研究表明，相对于基于梯度的算法，高阶平滑性可用于改善估计速率，并精确地依赖于平滑度的程度，同时提出了此类算法可行性的上限。最后，作者还在在线优化设置中取得了类似的结果。

May, 2016

在在线学习中，优化随机零阶反馈下的凸函数一直是一个主要而具有挑战性的问题。本文考虑了仅能对目标函数进行噪声评估的情况下，对二阶平滑和强凸函数进行优化的问题；通过提出匹配的上下界，第一次对最小化最大简单后悔的速率进行了紧密的刻画。我们提出了一种算法，结合了启动阶段和镜像下降阶段。我们的主要技术创新包括对高阶平滑性条件下球形采样梯度估计器的尖锐刻画，从而使算法能够在偏差 - 方差权衡方面达到最优平衡，以及一种用于启动阶段的新的迭代方法，它能够保持无界 Hessian 的性能。

Jun, 2024

研究了基于 Nesterov 的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部 Lipschitz 损失下，在 T 轮迭代后，我们的解决方案的误差最多为 O（（slogp）/T），并确立了我们的收敛率是最佳的，且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较，证实了我们方法的有效性。

Jul, 2012

该论文提出了两种简单但强大的无梯度估计的梯度下降（GLD）算法，并从一种新的几何视角进行分析，展示了其具有收敛性的优势，并且能够在保证单调变换不变的情况下，利用低的潜在维数来实现优化，对 BBOB 和 MuJoCo 基准测试产生了良好的实证效果。

Nov, 2019

本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

May, 2018

研究无导数优化高维函数的方法，提出一种基于在线学习的方法，同时学习流形和优化函数，能够显著降低样本复杂性，经过实验证明有效性高于其他无导数优化算法。

Apr, 2020

我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

Jan, 2019

研究了 SGD 算法在高维参数空间下最简单在线版本的性能，通过对样本数量的阈值来确定参数估计的一致性，其阈值是多项式维度的，取决于信息指数。

Mar, 2020

研究非光滑、非凸的 Lipschitz 目标函数在具有噪声函数评估的条件下生成 $(\delta,\epsilon)$- 稳定点的复杂性，提出的算法具有 $O (d\delta^{-1}\epsilon^{-3})$ 的复杂度和最优收敛速率。

Jul, 2023