本文介绍了如何使用随机镜像下降法和非均匀采样方案，来快速训练高维度特征空间、多分类通用的线性分类器，特别是在多类 Hinge 损失下，本文提出了一个迭代次数为 $O (d+n+k)$ 的子线性算法。

Feb, 2019

研究了使用一种新的预测算法在无需假设标签与对象的生成方式的条件下，对已知标签对象的实时预测问题，通过比较此算法与一定范围内的预测规则，证明了此算法的误差率在极限范围下可达到最佳状态，可用于无参统计学的普适预测。

Nov, 2005

这篇论文提出了基于近期的数据草图 (sketching) 与优化发展的快速方法，结合 (加速的) mini-batch SGD 与一个叫做两步预处理的新方法，以比当前低精度情况下最先进技术所需的时间复杂度更低的近似解。这个方法也可以扩展到高精度情况，提供一个具有显著时间复杂度改进的 Iterative Hessian Sketch (IHS) 方法的替代实现。基准和合成数据集上的实验表明，我们的方法确实在低精度和高精度情况下都明显优于现有方法。

Feb, 2018

该研究提出了一种分布式最小二乘逼近法，能够解决大量回归问题，使用局部二次函数逼近本地目标函数，通过取局部估计的加权平均值得到联合估计值，进一步使用自适应 Lasso 方法进行收缩估计，使用新设计的分布式贝叶斯信息准则分析分布式回归，取得了令人满意的结果

Aug, 2019

本文介绍了针对高维度问题的普通最小二乘（OLS）法无法适用的问题，我们提出了一种基于岭回归的 OLS 的广义版本，并提出了两种新的三步算法，这些算法在直观上易于理解，计算上易于高效实现，并且在模型选择方面有较强的理论吸引力。通过模拟和数据分析中与基于罚项的方法相比较的数值实验，这些算法的潜力得到了证明。

Jun, 2015

本研究解决在线学习中的参数调整问题，提出用于线性模型的算法，使其预测结果不受特征缩放的影响，并且在保持运行时性能的同时达到与使用最优学习率的 OGD 算法相同的遗憾界限。

Feb, 2019

本文提出了一种基于采样技术和新的乘性更新算法的新颖子线性时间逼近算法，可用于解决一些机器学习优化问题，如训练线性分类器和查找最小包含球，此外，还用于解决一些核化版本的这些问题，如 SVM 等。此外，文章还在半流数据流设置中给出了实现，实现了第一个低通多项式空间和次线性时间算法。

Oct, 2010

该研究提出了两种随机算法来更快地找到无精确解的线性方程组的最小二乘近似解，这两种算法均使用随机哈达玛变换对数据进行预处理，并利用随机抽样约束或进行稀疏随机投影，并在较短时间内提供相对误差逼近的解决方案。

Oct, 2007

介绍了一种对 softmax 概率的有效逼近方法，该方法基于一种严格的下界概率，可通过随机优化进行可扩展的估计，并演示了其在分类问题中的应用。

Sep, 2016

介绍了一种学习凸损失函数的线性预测系统和技术，可以处理包含万亿特征、数十亿训练样本和百万参数的大型数据集，使用 1000 台机器集群仅需 1 小时，并对系统组件进行了全面的评估。

Oct, 2011