对于大部分基于凸优化的统计 $M$- 估计器，我们分析了解决这些问题的渐进收敛速度，并在高维框架中工作，我们定义了适当限制的条件，并证明了这些条件适用于各种统计模型，我们的理论保证了项目的概率几何收敛速度不断提高，最高可达到模型的统计精度，这个结果比以往收敛结果更加尖锐，这适用于 $M$- 估计器和各种统计模型，展现了高维估计中统计精度和计算效率的有趣联系。

Apr, 2011

研究了在 SGD 下如何进行统计推断以及使用其构建渐近无偏估计和置信区间，最终提出了一种高维线性回归算法，可以计算稀疏回归系数和置信区间。

Oct, 2016

对有限和最小化问题，我们展示了在目标函数中引入部分二阶信息可以显著提高方差减小的随机梯度方法对小批量大小的稳健性，从而使其在保留传统牛顿类型方法的优势的同时更具可伸缩性。

Apr, 2024

该论文提出了一种利用估计问题和 Stein 引理来构造曲率信息的算法，同时探讨了这种算法在广义线性模型中的应用和收敛性分析。实验证明，该算法在多个数据集上的表现都优于其他算法。

Nov, 2015

探讨了自然梯度下降法作为一种二阶优化方法的性质及其在实际应用中的影响，强调了将技术如信任区域和 Tikhonov 正则化等融入实际优化器设计中的必要性。

Dec, 2014

本文研究了大步长梯度下降的特性，证明二阶回归模型中存在一种逐渐趋于稳定的过程，这一过程不仅仅局限于神经网络等复杂的高维非线性模型中，这可能是一种离散学习算法。

Oct, 2022

我们分析了非光滑随机凸优化中全批量梯度下降（GD）的样本复杂性，表明 GD 的泛化误差与最优超参数选择的样本复杂性匹配，可以表示为 Θ(d/m + 1/√m)，其中 d 为维度，m 为样本大小，这与最坏情况下的经验风险最小化器相符，这意味着与其他算法相比，GD 没有优势。我们的界限来自一个新的泛化界限，它取决于维度、学习速率和迭代次数。对于一般的超参数，当维度严格大于样本数量时，需要 Ω(1/ε^4) 次迭代才能避免过拟合，这解决了 schliserman2024dimension 和 amir2021sgd 提出的一个开放问题，并改进了先前的下界，前者证明了样本大小至少必须为维度的平方根。

Apr, 2024

通过理论和实验证明，Normalized Stochastic Gradient Descent with Momentum 算法在没有先验知识的情况下可以实现（接近）最优复杂度，但复杂度中引入了一个依赖于 (L_1) 的指数项，这是不可避免的。同时，在确定性设置下，可以通过使用 Gradient Descent with a Backtracking Line Search 来抵消指数因子。这是首个在广义平滑条件下提出的无需参数设置的收敛结果。

Nov, 2023

本文研究了针对非强凸问题的梯度下降、均值梯度下降以及重球法等算法的加速，表明可以将这些算法重新表述为常数参数二阶差分方程算法，并提供了详细的稳定性分析和显式常数的稳定性结果。同时，本文还讨论了噪声梯度情况下的情况，并给出了一种新的算法。

Apr, 2015

研究了梯度方法在基础随机凸优化条件下的泛化性能，并关注其与维数的依赖关系。针对全批量梯度下降（GD），通过构建学习问题，在维数为 $ d = O（n^2）$ 的情况下，可以证明经过调整以达到经验风险最优表现的典型 GD（使用 n 个训练样本）在具有常数概率的情况下，收敛为近似经验风险最小化器，且其相对于总体风险具有 Ω（1）的过量风险。这个界限对于标准 GD 需要达到非平凡测试误差的训练样本数量有一个下界 Ω（√d），回答了 Feldman（2016）和 Amir，Koren 和 Livni（2021b）提出的一个开放问题，表明非平凡的维数依赖性是不可避免的。此外，针对标准的一次遍历随机梯度下降（SGD），我们证明了同样的构建技术在样本复杂度上提供了类似的 Ω（√d）下界，以达到非平凡的经验误差，尽管它可以实现最优的测试性能。与之前的工作（Koren，Livni，Mansour 和 Sherman，2022）相比，这提供了维数依赖性的指数级改进，解决了其中的一个开放问题。

Jan, 2024