AAAINov, 2019

通过快速代理杠杆加权采样实现随机傅里叶特征

PDF
TL;DR该论文提出了一种快速替代权重采样策略，用于生成用于核逼近的精细随机傅里叶特征，通过核对齐来指导采样过程，并可以避免在计算杠杆函数时使用矩阵求逆操作，该策略可以将时间复杂度从 O (ns² +s³) 减少到 O (ns²)，在应用于核岭回归（KRR）时实现可比较的（甚至略优）预测性能，并提供关于该方法的泛化性能的理论保证，尤其是在 KRR 中实现统计保证所需的随机特征数。
random fourier featureskernel approximationsurrogate leverage weighted samplingkernel alignmenttime complexity
发现论文，激发创造
  • 核岭回归的随机傅里叶特征：逼近界限和统计保证

    本文通过研究谱矩阵近似的角度，给出了随机傅里叶特征的数量界和核岭回归的统计保障，而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。

    Apr, 2018

  • 从经验杠杆得分中采样随机特征：实现和理论保证

    本文通过实证杠杆得分的方式，研究在随机特征的领域中，在核逼近和数据分布之间的权衡，提出一种算法可以有效地减少所需的特征数量，且不需要使用输出信息。实验结果表明，与普通的蒙特卡罗采样相比，该算法始终表现出优势，并且在进行了轻微的修改后，该算法在没有使用输出（标签）信息的情况下与监督的数据相关核学习方法相当竞争力。

    Mar, 2019

  • 随机 Fourier 特征的统一分析

    使用随机傅里叶转换对核方法的学习过程进行风险分析，同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法，可大大降低计算成本。

    Jun, 2018

  • 傅立叶稀疏杠杆分数与近似核学习

    在近似理论中，限制 Fourier 稀疏函数的杠杆分数是纯数学兴趣的研究内容之一。本文扩展了先前对于均匀分布的不同研究结果，证明了 Guassian 和 Laplace 分布中 Fourier 稀疏函数的杠杆分数的上限，并且针对这一结果，提出了两种机器学习的应用：核近似算法和活跃学习。

    Jun, 2020

  • 随机傅里叶特征的最优速率

    本文通过理论分析，详细研究了随机傅里叶特征（RFF）在逼近质量方面的表现，并提出了一种 RFF 逼近核的导数的方法。

    Jun, 2015

  • 利用斯坦效应的数据驱动随机傅里叶特征

    本文提出了一种基于 Stein 效应的新型收缩估计器，用于随机特征的数据驱动加权策略，可以在核逼近和监督学习任务中提供更好的性能。

    May, 2017

  • 斯坦随机特征回归

    在大规模回归问题中，通过通过定义核函数的谱密度，利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程（GP），随机 Fourier 特征（RFFs）显著提高了 GP 的计算可扩展性和灵活性。然而，RFFs 在核逼近和贝叶斯核学习中的有效性取决于能否轻松地采样核谱测度并生成高质量的样本。我们引入 Stein 随机特征（SRF），利用 Stein 变分梯度下降，可以用于生成已知谱密度的高质量 RFF 样本，以及灵活高效地近似传统上非分析的谱测度后验。SRFs 只需要评估对数概率梯度，即可同时进行核逼近和贝叶斯核学习，从而在传统方法上实现更好的性能。通过将其与基准模型在核逼近和众所周知的 GP 回归问题上进行比较，我们经验证明了 SRF 的有效性。

    Jun, 2024

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 非随机特征

    本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

    Oct, 2017

  • 核岭回归中快速统计杠杆得分近似

    该论文提出了一种基于线性时间算法的方法来精确近似统计杠杆分数，以选取代表性的子样本，运用于 Nyström 近似中，以提高预测准确性和减少计算成本。

    Mar, 2021