Dec, 2012

使用 Frank-Wolfe 优化方法训练支持向量机

PDF
TL;DR本文提出两种改进的基于 Frank-Wolfe 算法的 SVM 构建方法，能够更高效地解决大规模数据集下的最小包络球问题。实验证明，相比之前的 CVM 方法，这两种方法在大多数情况下都具有更好的扩展性。
support vector machinescore vector machinesminimal enclosing ballfrank-wolfe algorithmmachine learning
发现论文，激发创造
  • 一种新的 Frank-Wolfe 算法。分析及其在大规模 SVM 训练的应用

    本研究提出并分析了一种基于新的 away steps 方法的 Frank-Wolfe 方法变种，重点研究了在 Simplex 上的一般凸优化问题。 研究表明，该方法与传统的 away steps 可以达到相同的收敛速率和迭代次数，实验结果显示该方法比经典的 away steps 方法更快，而且精度不降。

    Apr, 2013

  • 结构化支持向量机的块坐标 Frank-Wolfe 优化

    提出了一种基于随机块坐标变量的 Frank-Wolfe 算法用于具有块可分约束的凸优化，并表明该算法具有与全 Frank-Wolfe 算法相似的对偶间隙收敛速度，同时可以计算最优步长并提供可计算的对偶间隙保证。

    Jul, 2012

  • 优化与机器学习：半监督支持向量机的精确算法

    支持向量机（SVM）是用于二分类的广泛研究的监督学习模型。半监督支持向量机（S3VMs）通过利用有标签和无标签数据，扩展了传统的 SVM 分类器，旨在在存在无标签数据的情况下最大化样本间的边界，以实现比传统 SVM 更高的准确性和鲁棒性。本文提出了一种新的基于半定规划（SDP）松弛的 S3VMs 分支定界方法。我们应用基于最优性的界限加强方法来限制可行集。箱约束使我们能够包括有效不等式，增强下界。与文献中提供的界限相比，所得到的 SDP 松弛提供了显著更强的界限。至于上界，则利用 SDP 松弛的解定义局部搜索。计算结果突显了该算法的效率，展示其解决数据点数量比文献中的解决数量多 10 倍的实例的能力。

    Dec, 2023

  • 数据分类的一种 SVM 方法替代方案

    支持向量机（SVM）是一种流行的用于数据分类的核方法，本文提出一种基于最佳子空间的最小距离的新方法，以解决 SVM 存在的时间处理、高维情况下优化过程失败、多类别泛化、不平衡类别和动态分类的问题，并取得了类似的性能改进。

    Aug, 2023

  • 一种用于结构化支持向量机的近线性时间算法

    本文提出了第一个解决具有低秩因子或低树宽度和少量线性约束的二次规划的近似线性时间算法，并暗示了具有低树宽度或低秩的支持向量机的近似线性时间算法。

    Jul, 2023

  • 支持向量机及其应用

    介绍支持向量机及其应用，强调其稀疏解决方案，对分类和回归问题进行专门的适用，适用文本处理和生物信息学任务，同时介绍了算法推广和实际应用。

    Dec, 2006

  • 变分相关向量机

    本文介绍了 Relevance Vector Machine，它是一种概率模型，其功能形式相当于 Support Vector Machine，提供完整的预测分布，并且需要更少的核函数。我们展示了如何通过变分推理在完全贝叶斯范式内构建和解决 RVM，并给出超参数的后验分布。我们用人工合成和实际例子证明了变分 RVM 的实用性和性能。

    Jan, 2013

  • 基于 MPI-CUDA 和 Tensorflow 框架的支持向量机实现

    支持向量机算法在训练过程中需要解决复杂的二次规划优化问题，这导致计算成本高。本研究通过在不同的并行架构框架上实现支持向量机算法的比较研究，发现 SVM MPI-CUDA 实现在不同数据集上能够优于 SVM TensorFlow 实现，而且 SVM TensorFlow 实现提供了跨平台解决方案，能够迁移到替代硬件组件，从而减少开发时间。

    Nov, 2023

  • 多成本场景下支持向量机

    我们提出了一种新颖的支持向量机模型，通过在问题表达中引入性能约束来考虑误分类成本。具体而言，我们的目标是寻求具有最大间隔的超平面，使得误分类率低于给定的阈值。通过解决一个具有线性约束和整数变量的二次凸问题来获得最大间隔超平面。我们的实验结果表明，我们的模型可以使用户在一个类别上对误分类率进行控制，并且运行时间可行。

    Dec, 2023

  • 支持向量网络的统计力学

    通过统计物理学方法，研究支持向量机的泛化性能，发现在简单规则上支持向量机只过度拟合弱，当输入在特征空间存在间隔时，支持向量机的性能会得到大幅增强。

    Nov, 1998