本文提出一种新的充分降维 (SDR) 的方法，该方法以协变量 $X$ 与响应 $Y$ 的条件独立性为基础，并以再生核希尔伯特空间上的条件协方差算子来表征该条件独立性断言，从而实现了对中心子空间的 $M$- 估计。

Aug, 2009

对于大部分基于凸优化的统计 $M$- 估计器，我们分析了解决这些问题的渐进收敛速度，并在高维框架中工作，我们定义了适当限制的条件，并证明了这些条件适用于各种统计模型，我们的理论保证了项目的概率几何收敛速度不断提高，最高可达到模型的统计精度，这个结果比以往收敛结果更加尖锐，这适用于 $M$- 估计器和各种统计模型，展现了高维估计中统计精度和计算效率的有趣联系。

Apr, 2011

研究估计具有有界平均值和协方差的重尾随机向量均值的算法问题，提供了一种基于谱方法的算法来解决该问题，并且只需要计算近似特征向量，取得了最优的统计性能和更快的运行速度。

Aug, 2019

本论文利用半定规划松弛和高维中位数，首次提出了一种多项式时间算法，能在有限均值和协方差的假设下估计具有重尾分布的多维随机向量的均值，并实现亚高斯置信区间。

Sep, 2018

提出了一种估计随机向量均值的估计器，时间复杂度为 $O (n^4+n^2d)$，其误差界限符合亚高斯分布。与 Hopkins（2018）介绍的基于二次项和谐级数的多项式时间估计器一样，在具有有限均值和协方差的数据分布方面，效率最高，但运行时间更快，分析更简单。

Feb, 2019

本文针对高维下平均数估计的稳健模型、对抗性污染和相应算法进行研究，提出了一种基于当前猜测值参数化的 SDP 族的自然算法，并经证明该算法在次线性时间内逼近真实平均数并达到了理论误差的信息论最优解，同时认为该算法还能进一步实现高维稳健学习问题的次线性时间算法。

Nov, 2018

通过使用二阶信息的标准化梯度下降法（NormGD）来解决参数估计问题，可以在样本量 n 的对数数量级内收敛，从而实现了达到最终统计半径的最优总体计算复杂度 O (n)。

Feb, 2022

研究了梯度方法在基础随机凸优化条件下的泛化性能，并关注其与维数的依赖关系。针对全批量梯度下降（GD），通过构建学习问题，在维数为 $ d = O（n^2）$ 的情况下，可以证明经过调整以达到经验风险最优表现的典型 GD（使用 n 个训练样本）在具有常数概率的情况下，收敛为近似经验风险最小化器，且其相对于总体风险具有 Ω（1）的过量风险。这个界限对于标准 GD 需要达到非平凡测试误差的训练样本数量有一个下界 Ω（√d），回答了 Feldman（2016）和 Amir，Koren 和 Livni（2021b）提出的一个开放问题，表明非平凡的维数依赖性是不可避免的。此外，针对标准的一次遍历随机梯度下降（SGD），我们证明了同样的构建技术在样本复杂度上提供了类似的 Ω（√d）下界，以达到非平凡的经验误差，尽管它可以实现最优的测试性能。与之前的工作（Koren，Livni，Mansour 和 Sherman，2022）相比，这提供了维数依赖性的指数级改进，解决了其中的一个开放问题。

Jan, 2024

使用斯坦因方法可以通过采样分布的渐变信息来减少蒙特卡罗估计器的方差，本文建立了一类基于斯坦因方法的估计器的理论界限，分析考虑了采样分布和测试函数的平滑程度，状态空间的维数，以及来源于马尔可夫链的非独立样本的情况，这些结果提供了关于基于梯度的估计器快速收敛的见解，以及澄清了这种方法固有的维度问题。

Mar, 2016

传统的监督学习模型中，学习器的目标是基于一些类别中最适应的概念，通过学习任意分布的示例，输出一个与之相差不超过 epsilon 的假设。本研究引入了平滑分析框架，要求学习器只需与对小的随机高斯扰动具有鲁棒性的最佳分类器竞争，从而提供了广泛的学习结果。此类别包括依赖于低维子空间（即多索引模型）和具有有界高斯曲面积的概念。有趣的是，我们的分析还为传统的非平滑框架（如学习边际）提供了新的结果。特别地，在时间复杂度为 k ^poly（log（k）/（epsilon * gamma））的算法中，我们首次获得了关于 k 半空间求交的无偏学习算法，这里 gamma 是边际参数。在之前的工作中，最优的运行时间复杂度是指数级的（Arriaga 和 Vempala，1999 年）。

Jul, 2024