通过一个特定的分解,我们将用于计算积分的基于核的求积法则视为正定核的随机特征扩展的一种特例。我们提供了理论分析,给出了给定逼近误差所需样本数的上下界,特别地,我们展示了上界可以从一种特定的非一致分布中独立同分布地获得,而下界对于任何一组点都是有效的。
Feb, 2015
本文通过理论分析,详细研究了随机傅里叶特征(RFF)在逼近质量方面的表现,并提出了一种RFF逼近核的导数的方法。
Jun, 2015
本文介绍了核方法在机器学习问题中的应用,提到了采用随机傅里叶特征解决大规模数据集问题的方法,并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用,同时指出了该特征的两种变体中,更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。
使用高斯积分逼近核函数的频域,可以构建确定性特征图来替代随机傅里叶特征映射,其采样量是以指数形式来考虑的,适用于稀疏 ANOVA 核函数,具有生成速度快和较高精度的特点。
Sep, 2017
通过基于Monte Carlo近似的、通过积分表示核函数并扩展到更好的核近似估计的数值积分技术,我们提出了一个统一的方法来改进核逼近的随机特征方法,并得出了其收敛行为,并进行了大量实证研究,支持了我们的假设。
Feb, 2018
本文通过研究谱矩阵近似的角度,给出了随机傅里叶特征的数量界和核岭回归的统计保障,而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。
Apr, 2018
本研究探究在内存预算下如何培训广义良好的核逼近方法,提出了一种低精度量化的随机傅里叶特征方法,旨在以内存预算的方式构建高秩逼近,并在四个基准数据集上证明了该方法可以在少得多的内存的情况下与全精度 RFFs 和 Nyström方法相匹配。
Oct, 2018
通过一种新的三角函数正弦积分傅里叶特征方法,精确求解对误差进行规模估计,得到的特征映射提供了改进性能的方法,实验证明此方法在广泛的长度尺度下,使用较少的特征能够准确近似高斯过程回归。
Oct, 2023
本文提出了一种近似过程以降低基于核的方法中$O(N^2)$复杂度到$O(N)$,通过分析基础函数的切片版本将任何径向核表示为一维核,并且导出了一维核的解析公式。通过广义Riemann-Liouville分数积分,我们可以将$d$维核求和降低为一维设置。为了高效地解决这些一维问题,我们采用快速傅里叶求和在非等距数据上的排序算法或两者的组合。对于高斯核,我们展示了一个与维度无关的误差界限,并通过闭式傅立叶变换表示其一维对应物。同时给出了我们的快速核求和的运行时间比较和误差估计。
Jan, 2024
通过非均匀快速傅里叶变换(NFFT)和严格的误差分析,研究了在处理大型稠密核矩阵时的快速近似方法,以及在高维特征空间中处理核函数导数时的适用性和性能。通过在多个数据集上进行性能演示,验证了加性核方案的有效性。
Apr, 2024