该研究探讨了差分隐私算法如何应用于低维线性子空间，以发现数据的低维结构并尽可能避免在隐私或准确性方面的代价。

May, 2021

本文提出了一种构建参数空间低维子空间的方法，并在这些子空间中应用椭圆切片采样和变分推断的贝叶斯模型平均方法，以产生准确的预测和良好的预测不确定性。

Jul, 2019

提出了一种新的高维随机优化方法，将坐标下降法推广到随机子空间，证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法，可以通过相关随机矩阵集合有效生成自适应子空间；在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题中的速度优势，包括逻辑回归、带随机卷积层的核分类和具有修正线性单元的浅神经网络。

Jun, 2019

通过应用随机投影子空间和多个独立的随机投影，重新绘制了随机子空间优化的方式，以提高大规模深度神经网络的优化效率。

Nov, 2020

本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。

Nov, 2011

本文介绍了一种基于局部学习规则的生物学本质上可行的反馈神经网络，该网络利用多维缩放代价函数学习流数据的主要子空间，从而实现神经计算的算法化理论。

Mar, 2015

本文探讨了机器学习领域中很多算法都需要从样本中估计一个线性子空间的问题，并针对不同的度量标准推导了新的学习误差估计方法，该方法还可以用于 PCA 和光谱支持估计的尖锐误差估计，是一种具有广泛适用性的光谱学习方法的算子理论方法的重要研究成果。

Aug, 2014

本文研究了部分信息情况下的子空间学习，提出了几种高效算法并分析其样本复杂度。

Feb, 2014

本文研究了使用随机梯度下降（SGD）训练任意宽度的两层神经网络（NN），其中输入 x 是高斯分布的，目标 y 遵循多指数模型，并证明了当基于 SGD 和权重衰减进行训练时，NN 的第一层权重将收敛于真实模型的向量 u1，...，uk 所张成的 k 维主子空间，从而建立了一个独立于 NN 宽度的一般化误差边界，并进一步证明了，使用 SGD 训练的 ReLU NNs 可以通过恢复主方向来学习单指标目标，其样本复杂度与 d 成线性关系，而不是通过核区域中的任何 p 次多项式的已知 d 奥米（p）样本要求，这表明在初始化时使用 SGD 训练的 NNs 可以胜过神经切向核。

Sep, 2022

研究高维稀疏主成分分析，提出了行稀疏和列稀疏的 lq 子空间稀疏概念，并为 0≤q≤1 证明了极小化子空间估计误差的非渐近下限和上限。这一限制完美适用于行精疏的子空间，并且近乎适用于列精疏的子空间。我们使用一种新颖的变分 sinΘ 定理进行证明，该定理可能对其他正则化谱估计问题有用。

Nov, 2012