本文提出了一种基于加速梯度下降的新随机逼近算法，该算法在非强凸情况下取得了最佳预测误差率，并在加速遗忘初始条件方面达到了最优效果，同时在算法的平均迭代次数和最终迭代次数上均提供了收敛结果，该算法还在无噪声环境下提供了一个匹配下界，展示了我们算法的最优性。

Mar, 2022

考虑由二次函数的期望值和任意凸函数组合成的复合目标函数的最小化问题，我们研究了随机双均值算法在恒定步长下的特性，证明其无需强凸假设即可获得 O (1/n) 的收敛速度，从而将欧几里得几何中关于最小二乘回归的较早结果扩展到了 (a) 所有凸正则化器以及约束条件，以及（b）由 Bregman 距离表示的所有几何形状。通过一种新的证明技巧来实现这一点，该技巧将随机和确定性递归联系起来。

Feb, 2017

探讨使用随机梯度下降的加权迭代平均算法，对确定的不可知参数进行最小二乘回归，分析了其收敛速度和误差，并提出了一种新的算法，取得了更好的性能表现。

Jun, 2016

本文探究噪声线性模型下单次训练中的随机梯度下降算法，证明了其收敛性和泛化误差的多项式收敛率，解释了结果在再生核希尔伯特空间框架下的意义，同时将分析应用于超出监督学习的场景。

Jun, 2020

本文研究加速随机梯度方法在最小二乘回归问题中的应用，通过对加速随机梯度下降作为随机过程的深入分析，证明了引入加速能够使其对统计误差具有鲁棒性，并提出了一种优于随机梯度下降的加速随机梯度方法。

Apr, 2017

研究了基于核的最小二乘回归以及通过早期停止进行过度拟合的正则化的共轭梯度算法，并提出了该方法的收敛率，如果真实回归函数属于再生核希尔伯特空间，则其上限可以匹配之前文献中获得的下限.

Sep, 2010

本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

Jun, 2013

对于大部分基于凸优化的统计 $M$- 估计器，我们分析了解决这些问题的渐进收敛速度，并在高维框架中工作，我们定义了适当限制的条件，并证明了这些条件适用于各种统计模型，我们的理论保证了项目的概率几何收敛速度不断提高，最高可达到模型的统计精度，这个结果比以往收敛结果更加尖锐，这适用于 $M$- 估计器和各种统计模型，展现了高维估计中统计精度和计算效率的有趣联系。

Apr, 2011

通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

Feb, 2019

我们对标准差分隐私梯度下降方法在线性回归中的分析进行了改进，得出基于输入的合理假设，在每个时间步骤上迭代的分布特征。我们的分析结果揭示了算法的准确性新的发现：对于适当选择的超参数，样本复杂度仅与数据维度呈线性关系。这与（非私有）普通最小二乘估计器以及依赖于复杂的自适应梯度裁剪方案的最新私有算法（Varshney 等，2022 年；Liu 等，2023 年）的维度相关性一致。我们对迭代分布的分析还允许我们构建适应特定数据集算法的方差的置信区间。我们通过对合成数据进行实验证实了我们的定理。

Feb, 2024