Jun, 2023

带有 $l_0$ 范数 Hinge 损失的核支持向量机分类器

PDF
TL;DR本文讨论了用于二分类问题的支持向量机（SVM）中 $l_0$-norm hinge loss 和 ADMM 算法， 证明了其等价关系和局部最优解，并对比了实验结果。
support vector machinebinary classification$\ell_0$-norm hinge lossadmm algorithmsupport vectors
发现论文，激发创造
  • 基于新型损失函数的二分类支持向量机

    我们提出了一种基于置信边界的滑动损失函数来构建支持向量机分类器，通过引入近似稳定点的概念和利用利普希茨连续性的性质，我们为滑动支持向量机推导了一阶最优性条件，并定义了滑动支持向量和滑动工作集。为了高效处理滑动支持向量机，我们设计了一种带有滑动工作集的快速交替方向乘子方法，并提供了收敛性分析。在真实世界数据集上的数值实验证实了该方法的鲁棒性和有效性。

    Mar, 2024

  • 通过锥优化的鲁棒支持向量机

    使用混合整数优化技术得出一种新的损失函数，使之比现有方案更好地逼近 0-1 损失函数，同时保持学习问题的凸性，具有与标准支持向量机相竞争的性能，且在存在异常值时表现更好。

    Feb, 2024

  • MKL-$L_{0/1}$-SVM

    该论文介绍了一种用于支持向量机（SVM）的多核学习框架（缩写为 MKL）以及使用 $(0, 1)$ 损失函数的方法。通过给出一些一阶次优性条件，进而设计了一种快速 ADMM 求解器来处理非凸和非光滑优化问题。对合成和真实数据集进行了广泛的数值实验，显示出我们的 MKL-$L_{0/1}$-SVM 与一种名为 SimpleMKL（Rakotomamonjy、Bach、Canu 和 Grandvalet 在《机器学习研究杂志》2008 年第 9 卷 2491-2521 页中开发的方法）的先进方法的性能相当。

    Aug, 2023

  • 稀疏支持向量机的 Majorization-Minimization

    通过平滑的稀疏促进正则化的平方铰链损失最小化，研究了支持向量机的训练，并应用了基于主要化最小化方法的快速训练方法，提高了特征选择的性能，并在定量指标（准确率、精确率、召回率和 F1 值）以及计算成本方面表现出良好的性能。

    Aug, 2023

  • 过参数化情况下的分类与回归：损失函数是否重要？

    这篇研究论文探讨了使用高斯特征的超参数化线性模型在分类和回归任务中的表现，发现当过度参数化时，所有训练点都成为支持向量，从而演化出一个法向量的模型，比起普通的最小二乘法和解决分类问题的 SVM，更适用于两者的情况，并讨论了在不同 loss function 下，训练（优化）和测试（归纳）階段使用的方法的不同作用和特性。

    May, 2020

  • 费用敏感支持向量机

    提出了一种新的学习代价敏感支持向量机 (CS-SVM) 分类器的过程，将 SVM 铰链损失扩展到代价敏感环境，并导出与之相关的最小风险优化方法。

    Dec, 2012

  • 基于近紧边距的支持向量机广义化界

    本文重新审视和改进了最大化边际的基本分类工具 SVM 的广义界限，并通过近乎匹配的下限补充了新的广义界限，从而几乎解决了 SVM 在边际方面的广义性能。

    Jun, 2020

  • 使用 0-1 损失函数学习基于核的半空间

    该论文描述和分析了一种新的算法，通过对零一损失函数的学习，可以对基于核的半空间进行学习。该算法可以在任何分布下学习核为基础的半空间，并且可以在有限的时间 / 样本内达到最优结果。

    May, 2010

  • l1 支持向量机的平滑算法

    设计用于大数据集的软间隔支持向量机优化问题的平滑算法通过对于铰链损失函数的平滑和对于 $\ell^{1}$ 惩罚项的活动集方法，在保持计算成本较低的同时，实现了强测试准确性。

    Dec, 2023

  • 使用高斯核的支持向量机的快速率

    针对二元分类问题，本文对带有铰链损失和高斯径向基核的支持向量机建立了学习速率，这些速率是基于两个假设，即 Tsybakov 的噪声假设和一个新的几何噪声条件，前者用于评估小的估计误差，后者用于限制近似误差。与以前用于限定近似误差的概念不同，本文提出的几何噪声条件不需要任何平滑性假设。

    Aug, 2007