线性支持向量机与随机特征的理论实现

Sep, 2018

线性支持向量机与随机特征的理论实现

But How Does It Work in Theory? Linear SVM with Random Features

Yitong Sun, Anna Gilbert, Ambuj Tewari

TL;DR在低噪声假设下，使用优化的特征映射的支持向量机在训练集（样本数为 m）上能够实现比 O (1/√m) 更快的学习速率，此方法将随机特征方法从最小二乘损失扩展到 0-1 损失，并且我们发现加权特征选择方法能帮助提高随机特征支持向量机在合成数据集上的性能。

Abstract

We prove that, under low noise assumptions, the support vector machine with $N\ll m$ random features (RFSVM) can achieve the learning rate

support vector machine random features learning rate feature map weighted feature selection

发现论文，激发创造

随机特征学习的泛化性能

本研究探讨了统计学习框架下随机特征稀疏化岭回归的泛化性质，结果显示仅需 O（根号 n*log n）个随机特征即可实现 O（1 / 根号 n）的学习界限，优于之前的提法；此外我们证明了一系列快速学习速率及其潜在影响，研究证明了及格自适应分配随机特征的可行性，这有助于降低计算复杂度，并保持最优泛化特性。

Feb, 2016

非随机特征

本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

Oct, 2017

使用高斯核的支持向量机的快速率

针对二元分类问题，本文对带有铰链损失和高斯径向基核的支持向量机建立了学习速率，这些速率是基于两个假设，即 Tsybakov 的噪声假设和一个新的几何噪声条件，前者用于评估小的估计误差，后者用于限制近似误差。与以前用于限定近似误差的概念不同，本文提出的几何噪声条件不需要任何平滑性假设。

Aug, 2007

具有可证明保证的线性 SVM 的特征选择

给定线性支持向量机（SVM），提出了一种特征选择算法，以实现有监督或无监督的学习。算法能够在确定性和随机化的情况下运行，并且在特征空间中的误差得到保证，从而保证了与完整的特征空间相当的概括能力。在真实世界的数据集上的实验结果表明，该方法比之前的最佳方法更加高效。

Jun, 2014

递归特征机器的特征缩放

本研究通过对回归数据集的一系列实验研究，探讨了一种新型核机器 —— 递归特征机的行为，发现与神经网络行为类似的双下降现象表现，揭示了 RFMs 和神经网络行为之间的新联系，为未来的研究打下了基础。

Mar, 2023

支持向量网络的统计力学

通过统计物理学方法，研究支持向量机的泛化性能，发现在简单规则上支持向量机只过度拟合弱，当输入在特征空间存在间隔时，支持向量机的性能会得到大幅增强。

Nov, 1998

线性递归特征机器可证明恢复低秩矩阵

神经网络在绕过维度灾难的同时能够准确预测的基础是对特征学习的隐式维度缩减过程的理解，本文提出了递归特征机（RFM）作为一种能够显式地执行特征学习的算法，并且在稀疏线性回归等问题中展示了其维度缩减能力和优于标准算法的性能。

Jan, 2024

可扩展解释性深度学习和随机傅里叶特征的单类支持向量机

提出了基于自编码器的一类支持向量机（AE-1SVM）模型，结合表示学习架构，采用随机傅里叶特征来逼近径向基核，集成了终端到终端的训练，可用于异常检测，并且拓展了深度学习在异常检测中的可能应用，并且，该模型在无监督的异常检测任务中表现显著优于之前采用分离训练的工作。

Apr, 2018

特征学习的高维渐近性：一个梯度步骤如何改善表示

研究两层神经网络中第一梯度下降步骤，证明第一梯度更新中存在一个秩为 1 的 “峰值”，可以使第一层权重与教师模型的线性部分对其，并探索学习率对特征的影响，得出即使一步梯度下降也能带来显著优势的结论。

May, 2022

插值和 SVM 之间的新等效性：核和结构化特征

该论文介绍了一种新的和灵活的分析框架，可用于证明任意再生核希尔伯特空间中的支持向量机，并且在独立亚高斯特征和一般有界正交系统家族（例如傅里叶特征）中的特征两个方面都表现出支持向量增殖现象，这些实验未能覆盖。

May, 2023