通过分析在随机数据集以及有噪声数据集情况下最大间隔算法的应用，探讨了过度参数化的最大间隔算法训练噪声数据集可以实现接近最优的数据种群风险，其中数据噪声由对手选择在一定范围内。

Apr, 2020

本文提出一种最大间隔分类器 SVM-GSU，使用多维高斯分布描述每个训练样本，以处理数据输入中的不确定性，并使用随机梯度下降方法高效地解决凸优化问题。通过测试，证明该方法的有效性。

Apr, 2015

研究在回归模型中，假设目标 Y 和模型 F 都是亚高斯的情况下，针对经验风险最小化程序的尖锐的预言不等式，如果 F 是凸的，则我们得到的界限在极小值意义上是尖锐的。此外，在对 F 的温和假设下，即使允许程序以常定概率执行，ERM 的错误率仍然是最佳的。我们分析的一部分是高斯回归模型的极小值结果的新证明。

May, 2013

研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

Nov, 2019

本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

Jun, 2023

采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。

Jun, 2024

研究高维和大量数据下来自高斯混合分布的软间隔和硬间隔支持向量机分类器的渐近行为，并提出了应用于分类错误率、边缘和偏差等重要参数的尖锐预测。同时，通过分析硬间隔 SVM 可分离的最大训练样本数，精确比较了硬间隔和软间隔 SVM 的性能，并提高了对相关参数（如测量数量和边缘参数）对分类性能的理解。

Mar, 2020

聚类是无监督机器学习中的关键问题，如何通过混合模型来研究聚类是常见的。本文首先通过契诺夫散度建立了聚类任何混合模型的一个普遍下界，然后证明在具有次指数尾部的混合模型中，迭代算法可以达到这个下界；此外，对于更适合使用泊松或负二项式混合模型的数据集，我们研究了属于指数族的混合模型，在这种混合模型中，我们证明了一种改进的 Lloyd 算法 ——Bregman 硬聚类，是速率最优的。

Feb, 2024

本文通过理论证明和实验证明，在可实现的二元分类问题下，当数据由逻辑模型生成且样本量远大于参数个数时，对数回归具有固有的过度自信及其原因。作者还证明，存在其它激活函数和合适的损失函数，使得学习的分类器在某些概率值附近表现不足。

Feb, 2021

本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界，并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析，以便处理一些测量分类器类 “大小” 的方式，特别地，当分类规则属于某个 VC 类且满足边缘条件时，我们推导出 ERM 的新风险上界，并讨论这些上界在极小化意义下的最优性。

Feb, 2007