我们提出了一种新的多类支持向量机方法,通过考虑两两类别损失,并最大化最小的间隔,实现多类别分类。我们的方法在深度学习中类似于 softmax 的概念,可以作为深度学习中网络参数学习的有效增强。实证评估结果表明,我们的方法在现有的多分类方法上具有明显的优势。
Dec, 2023
介绍支持向量机及其应用,强调其稀疏解决方案,对分类和回归问题进行专门的适用,适用文本处理和生物信息学任务,同时介绍了算法推广和实际应用。
Dec, 2006
我们提出了一种新颖的支持向量机模型,通过在问题表达中引入性能约束来考虑误分类成本。具体而言,我们的目标是寻求具有最大间隔的超平面,使得误分类率低于给定的阈值。通过解决一个具有线性约束和整数变量的二次凸问题来获得最大间隔超平面。我们的实验结果表明,我们的模型可以使用户在一个类别上对误分类率进行控制,并且运行时间可行。
支持向量机(SVM)是用于二分类的广泛研究的监督学习模型。半监督支持向量机(S3VMs)通过利用有标签和无标签数据,扩展了传统的 SVM 分类器,旨在在存在无标签数据的情况下最大化样本间的边界,以实现比传统 SVM 更高的准确性和鲁棒性。本文提出了一种新的基于半定规划(SDP)松弛的 S3VMs 分支定界方法。我们应用基于最优性的界限加强方法来限制可行集。箱约束使我们能够包括有效不等式,增强下界。与文献中提供的界限相比,所得到的 SDP 松弛提供了显著更强的界限。至于上界,则利用 SDP 松弛的解定义局部搜索。计算结果突显了该算法的效率,展示其解决数据点数量比文献中的解决数量多 10 倍的实例的能力。
研究高维和大量数据下来自高斯混合分布的软间隔和硬间隔支持向量机分类器的渐近行为,并提出了应用于分类错误率、边缘和偏差等重要参数的尖锐预测。同时,通过分析硬间隔 SVM 可分离的最大训练样本数,精确比较了硬间隔和软间隔 SVM 的性能,并提高了对相关参数(如测量数量和边缘参数)对分类性能的理解。
Mar, 2020
通过统计物理学方法,研究支持向量机的泛化性能,发现在简单规则上支持向量机只过度拟合弱,当输入在特征空间存在间隔时,支持向量机的性能会得到大幅增强。
Nov, 1998
提出了一种名为 ODM 的新方法,旨在通过优化边际分布来实现更好的普适性能,是一种可以应用在 SVM 的任何地方的一般学习方法。该方法利用边际平均值和方差来表征边际分布,该方法的优越性在理论和实践中均得到验证。
Apr, 2016
本文研究了多分类算法的泛化性能,首次获得一种基于数据的泛化误差界限,并在现有数据相关泛化分析的线性依赖条件基础上,显著提高了类大小的对数依赖性。理论分析促使我们引入了一种基于 $\ell_p$- 范数正则化的新型多分类分类机器,其中参数 $p$ 控制相应限制的复杂度。我们基于 Fenchel 对偶理论导出了一种高效的优化算法。对几个真实世界数据集的基准测试表明,所提出的算法可以实现显着的精度提高。
Jun, 2015
通过平滑的稀疏促进正则化的平方铰链损失最小化,研究了支持向量机的训练,并应用了基于主要化最小化方法的快速训练方法,提高了特征选择的性能,并在定量指标(准确率、精确率、召回率和 F1 值)以及计算成本方面表现出良好的性能。
Aug, 2023
使用线性代数工具,基于 Tverberg 的定理,设计了新的多类支持向量机模型,其理论保证能转化到标准支持向量机上,并利用现有二元 SVM 算法在高维空间中计算。同时,通过 Veelaert 提出的几何特征化,给出了最大间隔支持向量机的新的简单证明。
Apr, 2024