该研究提供了一种用于大规模多类（和多标签）预测的简单算法，其鲁棒性强且不需要参数；这些基于二次结构的算法能够在理论和实践中胜过基于一阶方法的算法，并且通过可扩展的分阶段方法，通过增加计算速度改善准确率。

Oct, 2013

本文介绍了如何使用随机镜像下降法和非均匀采样方案，来快速训练高维度特征空间、多分类通用的线性分类器，特别是在多类Hinge损失下，本文提出了一个迭代次数为$O(d+n+k)$的子线性算法。

Feb, 2019

本文建立了一个精确的高维渐近理论，探讨了分离数据上的 Boosting 的统计和计算方法。在考虑特征（弱学习器）数量 $p$ 与样本大小 $n$ 比例过大的高维情况下，提供了一种统计模型的确切分析，探讨了 Boosting 在插值训练数据并最大化经验 l1-margin 时的泛化误差，解答了 Boosting 的相关问题。同时，文章研究了最大 l1-margin，引入了新的非线性方程和高斯比较技术和均匀偏差论证。

Feb, 2020

研究了高维混合的两个高斯类在噪声条件下的学习，正则化方法可以让分类器达到贝叶斯最优性能，同时分析了正则化程度的影响。

Feb, 2020

本文提出了一种正则化分类感知量化的算法，该算法通过在重构误差上进行正则化0-1损失，用于二元分类任务，性能比文献中的基准量化方案更优，并能在未见数据上快速处理。

Jul, 2021

本文研究了三种拟建立鲁棒分类器以对抗对数据的恶意扰动的多分类分类问题模型，证明了每个模型中存在Borel可测的鲁棒分类器，并提供了对抗训练问题的统一视角，扩展了与作者在先前工作中启动的最优传输方面的关联，并发展了在多类设置中进行对抗训练和总变差规则化之间的新关联。

Apr, 2023

本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

Jun, 2023

我们研究了多类别分类中的学习与弃权的关键框架，介绍了一系列新的理论和算法结果，提出了几个新的代理损失函数家族，并分析了单阶段和两阶段学习设置的保证和应用，证明了我们的代理损失的优越性，并展示了广泛适用的两阶段弃权算法的卓越性能。

Oct, 2023

对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于1/2的比例的训练数据被误标记，我们严格分析了岭回归、L1和L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了L1正则化引起稀疏性，并观察到在许多情况下，不考虑GMM的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。

Nov, 2023

这项研究探讨了在1位矩阵补全中的错分过量风险界，1位矩阵补全是机器学习中一个重要的问题，涉及从一个有限子集的条目中恢复未知矩阵。与处理实值样本的传统方法不同，1位矩阵补全关注的是二进制观测。通过理论分析两个先前采用逻辑回归模型的方法的预测误差，本文证明了后者在不需要额外的对数项的情况下实现了极小化最优速率，这些新的结果有助于更深入地理解1位矩阵补全，并揭示了特定方法的预测性能。

Dec, 2023