- 最小二乘法回归的小批量梯度下降离散误差动态
我们研究了无重复抽样的最小批量梯度下降在最小二乘回归中的离散动力学。我们证明最小批量梯度下降的动力学和泛化误差取决于原始特征 X 和一组新特征 X̃之间的样本交叉协方差矩阵 Z，在学习过程中每个特征都被之前出现的最小批次平均修改。利用这个表 - 稀疏子空间嵌入的最佳嵌入维度
给定任意正实数 θ，我们证明对于 m≥(1+θ) d 且具有每列 O (log^4 (d)) 非零元素的 m×n 随机矩阵 S，它是一个 ε=O_θ(1) 的忽略子空间嵌入。这个结果解答了 Nelson 和 Nguyen（FOCS 2013 - 从谱定理到统计独立性及其在系统辨识中的应用
高维随机动力系统中，系统识别的关键是通过观察到的轨迹对系统进行状态转移矩阵估计。由于空间 - 时间相关性，当动力系统具有一个不同的特征值且失配度为 n-1 时，可能导致维度的诅咒问题。通过最小二乘回归处理这些发现来进行误差分析。
- 通信的任意分区模型中的 $l_p$ 回归
本研究探讨了分布式 l_p 回归问题的随机通信复杂度，得到了比以前更好的上下界，并在最小二乘回归和其他一些情况中给出了优化算法。
- 非强凸最小二乘问题的加速随机梯度下降
本文提出了一种基于加速梯度下降的新随机逼近算法，该算法在非强凸情况下取得了最佳预测误差率，并在加速遗忘初始条件方面达到了最优效果，同时在算法的平均迭代次数和最终迭代次数上均提供了收敛结果，该算法还在无噪声环境下提供了一个匹配下界，展示了我们 - 随机数值线性代数中的行列式点过程
本研究概述了随机数值线性代数 (Randomized Numerical Linear Algebra) 和行列式点过程 (Determinantal Point Processes) 两个看似不相关的数学领域之间新的深入而有益的联系，以及 - 大规模稀疏回归：基于一阶优化的分支定界
本文提出了一种新的混合整数规划框架，结合非线性分支定界和坐标下降方法，用于计算最小二乘回归中的 $l_{0} l_{2}$ 惩罚，证明了该框架不仅比现有方法快很多，而且可以处理一些统计性较强的示例，并提供了 $L0BnB$ 工具箱的开源实现 - ICML随机梯度流对最小二乘隐式正则化
研究隐式正则化的小批量随机梯度下降，以最小二乘回归为基础问题，利用具有与随机梯度下降相同矩的连续时间随机微分方程，称为随机梯度流。给出了随时间 t 随机梯度流的超额风险的界限，超过了具有调整参数 λ=1/t 的岭回归，此界限可以从明确的常数 - 阶梯衰减策略：一种近似最优、几何下降的最小二乘学习速率过程
这项工作研究了随机梯度下降对于流式最小二乘回归问题的最终迭代行为并探讨使用 Step Decay 调度方案实现可接受的改进，同时发现 SGD 的最终迭代行为不如期望，并强调了随机梯度下降固定时间限制下确定最优学习率方案的复杂性。
- 高维无脊岭最小二乘插值中的惊喜
本文研究了高维最小二乘回归中的最小 L2 范数（“无岭”）插值，并考虑了特征分布的两个不同模型：线性模型和非线性模型
- 最小二乘法中提前停止的连续时间视角
本文研究了应用于最小二乘回归问题的梯度下降迭代的统计特性，将其与岭回归的风险进行比较。研究发现，在梯度下降的整个路径上，其风险不低于岭回归的 1.69 倍，并在平均信号下保持相对风险边界，同时考虑了极限风险表达式和支撑数值实验。
- NIPS低秩张量回归的近似最优素描
本文介绍了针对最小二乘回归问题的 CP 和 Tucker 分解模型，以及基于稀疏随机投影的数据降维技术，旨在减小模型参数数量和计算量。作者通过数值模拟得到了实验结果，证实了其理论的有效性。
- 从固定 X 到随机 X 回归：偏差 - 方差分解、协方差惩罚和预测误差估计
该研究对模型选择和模型评估中的协方差惩罚进行了研究，提出了一种基于 “Random-X” 假设的预测误差分解方法，进一步扩展了 Mallows 的 Cp, 称之为 RCp; 并对其他流行的估计器进行了随机 - X 误差的研究，其中，对岭回归 - 加速随机梯度下降算法用于最小二乘回归
本文研究加速随机梯度方法在最小二乘回归问题中的应用，通过对加速随机梯度下降作为随机过程的深入分析，证明了引入加速能够使其对统计误差具有鲁棒性，并提出了一种优于随机梯度下降的加速随机梯度方法。
- 最小二乘回归的随机梯度下降并行化：小批量、平均和模型错误
该研究探讨了在随机梯度下降中广泛使用的平均方案的好处。特别是，通过对最小二乘回归的随机逼近问题进行非渐进超额风险分析，提供了这些方案的性能保证，并提出了高度可并行化的随机梯度下降方法。同时，该研究认为，为了保证最小极大风险，针对混浊噪声的步 - 最小二乘回归加权平均投影随机梯度下降算法
探讨使用随机梯度下降的加权迭代平均算法，对确定的不可知参数进行最小二乘回归，分析了其收敛速度和误差，并提出了一种新的算法，取得了更好的性能表现。
- 带随机设计的 Gram 矩阵和最小二乘回归的 PAC-Bayesian 界
本文探讨了从 n 个独立样本中对随机向量的 Gram 矩阵进行估计的问题，并基于非渐进 PAC-Bayesian 概率界提出了四种类型的结果，包括鲁棒的 Gram 矩阵和协方差矩阵的估计，新的鲁棒最小二乘估计器和最小二乘估计器的精确收敛率。
- NYTRO: 当子采样遇到早停
本研究旨在探讨早停止和随机子抽样方法在最小二乘回归设置中的结合，提出了一种基于早停止和随机子抽样的随机迭代正则化形式，并分析了其统计和计算性质。
- 最小二乘回归的稳健高效子空间分割
研究多个线性子空间的数据分割问题。最新的方法使用稀疏表示、低秩表示及其扩展引起了广泛关注。该论文介绍了基于数据相关性提出的最小二乘回归 (Least Squares Regression, LSR) 方法，对实验数据进行处理，获得了比目前最 - 通过更稀疏的子空间嵌入实现更快的数值线性代数算法
本研究提出了一种 Oblivious Subspace Embedding (OSE) 技术以及两种 Oblivious Sparse Norm-Approximating Projections (OSNAPs) 技术，基于随机矩阵理论，