随机傅里叶特征的误差

Jun, 2015

On the Error of Random Fourier Features

Danica J. Sutherland, Jeff Schneider

TL;DR本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

Abstract

kernel methods give powerful, flexible, and theoretically grounded approaches to solving many problems in machine learning. The standard approach, however, requires pairwise evaluations of a kernel function, whic

kernel methods machine learning random fourier features uniform error bound gaussian kernel

发现论文，激发创造

随机 Fourier 特征的统一分析

使用随机傅里叶转换对核方法的学习过程进行风险分析，同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法，可大大降低计算成本。

Jun, 2018

正交随机特征：显式形式和尖锐不等式

通过正交随机特征来近似普遍的高斯核，本研究分析了基于正交随机特征的核逼近的偏差和方差，并通过使用归一化贝塞尔函数推导出了明确的表达式，并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。

Oct, 2023

核岭回归的随机傅里叶特征：逼近界限和统计保证

本文通过研究谱矩阵近似的角度，给出了随机傅里叶特征的数量界和核岭回归的统计保障，而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。

Apr, 2018

随机傅里叶特征的最优速率

本文通过理论分析，详细研究了随机傅里叶特征（RFF）在逼近质量方面的表现，并提出了一种 RFF 逼近核的导数的方法。

Jun, 2015

核特征的高斯积分

使用高斯积分逼近核函数的频域，可以构建确定性特征图来替代随机傅里叶特征映射，其采样量是以指数形式来考虑的，适用于稀疏 ANOVA 核函数，具有生成速度快和较高精度的特点。

Sep, 2017

广义谱方法的随机特征逼近

随机特征逼近是加速大规模算法中核方法的最流行技术之一，并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质，包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器，我们在适当的源条件下定义的规则性类别（甚至包括不在再生核希尔伯特空间中的类别）上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。

Aug, 2023

非随机特征

本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

Oct, 2017

正交随机特征

本文通过使用正交矩阵代替高斯随机矩阵来减小核近似误差提出了正交随机特征和结构化正交随机特征，并为此行为提供理论和实证证据。实验结果证明了与现有方法相比 ORF 和 SORF 的有效性。

Oct, 2016

低精度随机傅里叶特征在内存约束下的核近似

本研究探究在内存预算下如何培训广义良好的核逼近方法，提出了一种低精度量化的随机傅里叶特征方法，旨在以内存预算的方式构建高秩逼近，并在四个基准数据集上证明了该方法可以在少得多的内存的情况下与全精度 RFFs 和 Nyström 方法相匹配。

Oct, 2018

利用斯坦效应的数据驱动随机傅里叶特征

本文提出了一种基于 Stein 效应的新型收缩估计器，用于随机特征的数据驱动加权策略，可以在核逼近和监督学习任务中提供更好的性能。

May, 2017