多类支持向量机：从更紧密的数据相关泛化界限到新颖的算法

Jun, 2015

多类支持向量机：从更紧密的数据相关泛化界限到新颖的算法

Multi-class SVMs: From Tighter Data-Dependent Generalization Bounds to Novel Algorithms

Yunwen Lei, Ürün Dogan, Alexander Binder, Marius Kloft

TL;DR本文研究了多分类算法的泛化性能，首次获得一种基于数据的泛化误差界限，并在现有数据相关泛化分析的线性依赖条件基础上，显著提高了类大小的对数依赖性。理论分析促使我们引入了一种基于 $\ell_p$- 范数正则化的新型多分类分类机器，其中参数 $p$ 控制相应限制的复杂度。我们基于 Fenchel 对偶理论导出了一种高效的优化算法。对几个真实世界数据集的基准测试表明，所提出的算法可以实现显着的精度提高。

Abstract

This paper studies the generalization performance of multi-class classification algorithms, for which we obtain, for the first time, a data-dependent generalization error bound with a logarithmic dependence on the class size, substantially improving the state-of-the-art linear dependen

multi-class classification generalization performance $\ell_p$-norm regularization optimization algorithm accuracy gains

发现论文，激发创造

基于近紧边距的支持向量机广义化界

本文重新审视和改进了最大化边际的基本分类工具 SVM 的广义界限，并通过近乎匹配的下限补充了新的广义界限，从而几乎解决了 SVM 在边际方面的广义性能。

Jun, 2020

支持向量机精确定误分析

研究高维和大量数据下来自高斯混合分布的软间隔和硬间隔支持向量机分类器的渐近行为，并提出了应用于分类错误率、边缘和偏差等重要参数的尖锐预测。同时，通过分析硬间隔 SVM 可分离的最大训练样本数，精确比较了硬间隔和软间隔 SVM 的性能，并提高了对相关参数（如测量数量和边缘参数）对分类性能的理解。

Mar, 2020

多类域泛化的概括误差界

本文研究了基于核方法的学习算法在多类别分类上的泛化问题，建立了与现有最优算法相匹配的，随着类别数目对数增长的泛化误差界限，并实证表明相比于合并策略，所提算法可以显著提高性能表现。

May, 2019

向量值学习的细粒度泛化分析

本文提出了一个正则化框架下的向量值学习算法的一般化分析。该论文扩展了现有假设空间，损失函数平滑性和低噪声条件的限制。此外，作者还将这些结果应用于多类别和多标签分类。

Apr, 2021

Tverberg 定理与多类支持向量机

使用线性代数工具，基于 Tverberg 的定理，设计了新的多类支持向量机模型，其理论保证能转化到标准支持向量机上，并利用现有二元 SVM 算法在高维空间中计算。同时，通过 Veelaert 提出的几何特征化，给出了最大间隔支持向量机的新的简单证明。

Apr, 2024

过参数化线性模型的多类分类精确渐近推广

本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

Jun, 2023

最大化最小间隔的多类支持向量机

我们提出了一种新的多类支持向量机方法，通过考虑两两类别损失，并最大化最小的间隔，实现多类别分类。我们的方法在深度学习中类似于 softmax 的概念，可以作为深度学习中网络参数学习的有效增强。实证评估结果表明，我们的方法在现有的多分类方法上具有明显的优势。

Dec, 2023

类别通用化误差：一种信息理论分析

现有的监督学习泛化理论通常采用整体方法，并提供整个数据分布的期望泛化界限，这暗示了模型对所有类别的泛化情况相似。然而，在实践中，不同类别之间的泛化性能存在显著差异，这不能被现有的泛化界限所捕捉。本文通过在理论上研究类别泛化误差来解决这个问题，该误差量化了每个个体类别的泛化性能。我们使用 KL 散度推导出了一种新的信息论界限来度量类别泛化误差，并进一步利用条件互信息 (CMI) 获得了几个更紧的界限，这在实践中更容易估计。我们在不同的神经网络中经验证实了我们提出的界限能准确捕捉复杂的类别泛化误差行为。此外，我们还展示了本文所开发的理论工具能够应用在其他多个领域。

Jan, 2024

支持向量网络的统计力学

通过统计物理学方法，研究支持向量机的泛化性能，发现在简单规则上支持向量机只过度拟合弱，当输入在特征空间存在间隔时，支持向量机的性能会得到大幅增强。

Nov, 1998

因果回归的泛化界限：见解、保证和敏感性分析

基于泛化界限的理论，我们提出了一种基于改变度量不等式的全新方法，能够紧密地将模型损失与人口中治疗倾向的偏差联系起来，并证明其在有限样本上的有效性，即使在隐性混杂因素和阳性违反的情况下也能成立。我们在半合成和实际数据上验证了我们的界限，展示了其出色的紧密性和实际效用。

May, 2024