支持向量机的预条件内点方法利用 ANOVA 分解和 NFFT 基矩阵向量乘法

Dec, 2023

支持向量机的预条件内点方法利用 ANOVA 分解和 NFFT 基矩阵向量乘法

A Preconditioned Interior Point Method for Support Vector Machines Using an ANOVA-Decomposition and NFFT-Based Matrix-Vector Products

PDF

Theresa Wagner, John W. Pearson, Martin Stoll

TL;DR本文研究软间隔支持向量机优化问题的数值解，通过使用 NFFT 加速的矩阵向量乘积和 ANOVA 分解特征空间的方法，结合预处理方法和 Krylov 子空间求解器，对线性鞍点形式的线性系统进行求解，比较了 ANOVA 核方法与默认 LIBSVM 实现方法在大规模数据集上的准确性和性能表现。

Abstract

In this paper we consider the numerical solution to the soft-margin support vector machine optimization problem. This problem is typically solved using the smo algorithm, given the high computational complexity of traditional optimization algorithms when dealing with large-scale kernel

soft-margin support vector machine smo algorithm nfft-accelerated matrix-vector product anova decomposition preconditioning approach

发现论文，激发创造

基于截断 ANOVA 分解的快速可解释支持向量分类

支持向量机是一种在高维空间中处理分散数据进行分类的重要工具，本研究中利用基于三角函数或小波的特征映射来解决 SVM 问题，并通过多元基函数的限制实现计算效率的提升和解释性强的模型。同时，通过数值实例验证，使用 L1 范数正则化可以在准确性和解释清晰度方面获得更好结果。

Feb, 2024

关于核函数和高斯随机场路径的方差分解

本文研究高维函数的表征和全局敏感性分析的 FANOVA 分解，阐述了一种基于高斯随机场样本路径 KANOVA 的核分解方法，以及相关联的张量积投影和协方差核的设计。

Sep, 2014

ANOVA-boosting for 随机傅里叶特征

提出了两种算法，用于提升随机傅里叶特征模型以近似高维函数，这些方法利用经典的方差分析和广义方差分析（ANOVA）分解学习低阶函数，其中变量之间的相互作用较少。算法能够可靠地找到重要的输入变量和变量交互的索引集，还将已有的随机傅里叶特征模型推广到 ANOVA 设置，可以使用不同阶数的项。算法具有解释性的优势，即可以了解到学习模型中每个输入变量的影响，甚至对于相关的输入变量。我们提供了理论和数值结果，证明了算法在敏感性分析方面的良好性能。ANOVA 增强步骤大大降低了现有方法的逼近误差。

Apr, 2024

插值和 SVM 之间的新等效性：核和结构化特征

该论文介绍了一种新的和灵活的分析框架，可用于证明任意再生核希尔伯特空间中的支持向量机，并且在独立亚高斯特征和一般有界正交系统家族（例如傅里叶特征）中的特征两个方面都表现出支持向量增殖现象，这些实验未能覆盖。

May, 2023

快速随机奇异值阈值法及其在低秩优化中的应用

本文提出了一种快速随机奇异值阈值方法，称为快速随机 SVT，可以用于解决与 NNM 或 WNNM 相关的问题，在各种计算机视觉问题中获得了高效和精确的结果。

Sep, 2015

一种高效的核生存支持向量机训练算法

本文提出了一种高效的核存活支持向量机 (SSVM) 训练算法，通过直接优化主要目标函数，采用截断牛顿优化和随机统计树，降低了与现有训练算法相比的计算复杂度，并证明其可以用于规模更大的数据。

Nov, 2016

基于模型的灵敏度分析的零均值函数的 ANOVA 核和 RKHS

本文针对实值函数的再生核希尔伯特空间 H 以及源空间 D（R 的子集）中适当的度量 mu，将 H 分解为 mu 的中心函数和其在 H 中正交的子空间之和。这种分解导致了 ANOVA 核的一个特殊情况，对于该情况可以优雅地在插值或正则化框架中推导出最佳预测器的函数 ANOVA 表示。提出的核似乎特别方便，用于分析每个变量或变量组的影响并计算灵敏度指标，无需递归。

Jun, 2011

基于半正定规划的预处理技术提高非负矩阵分解鲁棒性

本研究针对非负矩阵分解以近可分离性为前提条件的问题，提出了基于半定编程的预处理方法，有效改善了连续投影算法的性能，并在多个数据集上得到实际验证，同时也探讨了主动集方法在大规模高光谱图像中的应用。

Oct, 2013

稀疏矩阵分解中的自动超参数调整

本文研究了贝叶斯框架下稀疏矩阵分解的超参数调整问题。基于先前的工作，提出了一种新的基于数值的超参数调整方法，通过评估稀疏矩阵先验中的归一化因子零点。与广泛使用的稀疏主成分分析算法相比，我们的方法在地面真实稀疏矩阵重建上表现出优异的性能。

May, 2023

基于贝叶斯思想的非线性支持向量机在大数据中的应用

该论文提出了一种通过应用随机变分推理和诱导点来加速贝叶斯非线性支持向量机推理的方法。实验表明，该方法比现有的贝叶斯方法更快，可以轻松扩展到数百万个数据点。除了准确的预测不确定性估计和自动超参数搜索外，该方法还提供了其他功能。

Jul, 2017