本文建立了一个精确的高维渐近理论，探讨了分离数据上的 Boosting 的统计和计算方法。在考虑特征（弱学习器）数量 $p$ 与样本大小 $n$ 比例过大的高维情况下，提供了一种统计模型的确切分析，探讨了 Boosting 在插值训练数据并最大化经验 l1-margin 时的泛化误差，解答了 Boosting 的相关问题。同时，文章研究了最大 l1-margin，引入了新的非线性方程和高斯比较技术和均匀偏差论证。

Feb, 2020

通过分析在随机数据集以及有噪声数据集情况下最大间隔算法的应用，探讨了过度参数化的最大间隔算法训练噪声数据集可以实现接近最优的数据种群风险，其中数据噪声由对手选择在一定范围内。

Apr, 2020

使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机特征时的优越性，讨论了隐藏流形模型中数据相关性的作用。

Feb, 2020

本文研究现代机器学习系统中深度神经网络等通常高度过参数化的现象，探究其在数据生成、最大边界分类器和风险界限等方面的应用并给出改进性结果。

Apr, 2021

这篇研究论文探讨了使用高斯特征的超参数化线性模型在分类和回归任务中的表现，发现当过度参数化时，所有训练点都成为支持向量，从而演化出一个法向量的模型，比起普通的最小二乘法和解决分类问题的 SVM，更适用于两者的情况，并讨论了在不同 loss function 下，训练（优化）和测试（归纳）階段使用的方法的不同作用和特性。

May, 2020

本文分析局部插值方案，包括几何单纯插值算法和单一加权 k 近邻算法，在分类和回归问题中证明了这些方案的一致性或近一致性，并提出了一种解释对抗性示例的方法，同时讨论了与核机器和随机森林的一些联系。

Jun, 2018

研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

Nov, 2019

通过贝叶斯框架探索超参数化非线性回归的预测特性，并在单神经元模型和广义线性模型中建立了后验缩固，展示了我们的方法在过参数化方案中实现了一致的预测。此外，我们的贝叶斯框架允许对预测进行不确定性估计。通过数值模拟和实际数据应用验证了我们的方法，展示了其实现准确预测和可靠不确定性估计的能力。

Apr, 2024

本文研究了多分类算法的泛化性能，首次获得一种基于数据的泛化误差界限，并在现有数据相关泛化分析的线性依赖条件基础上，显著提高了类大小的对数依赖性。理论分析促使我们引入了一种基于 $\ell_p$- 范数正则化的新型多分类分类机器，其中参数 $p$ 控制相应限制的复杂度。我们基于 Fenchel 对偶理论导出了一种高效的优化算法。对几个真实世界数据集的基准测试表明，所提出的算法可以实现显着的精度提高。

Jun, 2015

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021