本文研究现代机器学习系统中深度神经网络等通常高度过参数化的现象，探究其在数据生成、最大边界分类器和风险界限等方面的应用并给出改进性结果。

Apr, 2021

本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

Jun, 2023

研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

Nov, 2019

本文分析局部插值方案，包括几何单纯插值算法和单一加权 k 近邻算法，在分类和回归问题中证明了这些方案的一致性或近一致性，并提出了一种解释对抗性示例的方法，同时讨论了与核机器和随机森林的一些联系。

Jun, 2018

研究高维和大量数据下来自高斯混合分布的软间隔和硬间隔支持向量机分类器的渐近行为，并提出了应用于分类错误率、边缘和偏差等重要参数的尖锐预测。同时，通过分析硬间隔 SVM 可分离的最大训练样本数，精确比较了硬间隔和软间隔 SVM 的性能，并提高了对相关参数（如测量数量和边缘参数）对分类性能的理解。

Mar, 2020

本文建立了一个精确的高维渐近理论，探讨了分离数据上的 Boosting 的统计和计算方法。在考虑特征（弱学习器）数量 $p$ 与样本大小 $n$ 比例过大的高维情况下，提供了一种统计模型的确切分析，探讨了 Boosting 在插值训练数据并最大化经验 l1-margin 时的泛化误差，解答了 Boosting 的相关问题。同时，文章研究了最大 l1-margin，引入了新的非线性方程和高斯比较技术和均匀偏差论证。

Feb, 2020

本文提出一种最大间隔分类器 SVM-GSU，使用多维高斯分布描述每个训练样本，以处理数据输入中的不确定性，并使用随机梯度下降方法高效地解决凸优化问题。通过测试，证明该方法的有效性。

Apr, 2015

这篇研究论文探讨了使用高斯特征的超参数化线性模型在分类和回归任务中的表现，发现当过度参数化时，所有训练点都成为支持向量，从而演化出一个法向量的模型，比起普通的最小二乘法和解决分类问题的 SVM，更适用于两者的情况，并讨论了在不同 loss function 下，训练（优化）和测试（归纳）階段使用的方法的不同作用和特性。

May, 2020

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

本文研究了多分类算法的泛化性能，首次获得一种基于数据的泛化误差界限，并在现有数据相关泛化分析的线性依赖条件基础上，显著提高了类大小的对数依赖性。理论分析促使我们引入了一种基于 $\ell_p$- 范数正则化的新型多分类分类机器，其中参数 $p$ 控制相应限制的复杂度。我们基于 Fenchel 对偶理论导出了一种高效的优化算法。对几个真实世界数据集的基准测试表明，所提出的算法可以实现显着的精度提高。

Jun, 2015