Jun, 2024

斯坦随机特征回归

PDF
TL;DR在大规模回归问题中，通过通过定义核函数的谱密度，利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程（GP），随机 Fourier 特征（RFFs）显著提高了 GP 的计算可扩展性和灵活性。然而，RFFs 在核逼近和贝叶斯核学习中的有效性取决于能否轻松地采样核谱测度并生成高质量的样本。我们引入 Stein 随机特征（SRF），利用 Stein 变分梯度下降，可以用于生成已知谱密度的高质量 RFF 样本，以及灵活高效地近似传统上非分析的谱测度后验。SRFs 只需要评估对数概率梯度，即可同时进行核逼近和贝叶斯核学习，从而在传统方法上实现更好的性能。通过将其与基准模型在核逼近和众所周知的 GP 回归问题上进行比较，我们经验证明了 SRF 的有效性。
random fourier featuresgaussian processesstein random featureskernel approximationbayesian kernel learning
发现论文，激发创造
  • 随机傅里叶特征的最优速率

    本文通过理论分析，详细研究了随机傅里叶特征（RFF）在逼近质量方面的表现，并提出了一种 RFF 逼近核的导数的方法。

    Jun, 2015

  • 利用斯坦效应的数据驱动随机傅里叶特征

    本文提出了一种基于 Stein 效应的新型收缩估计器，用于随机特征的数据驱动加权策略，可以在核逼近和监督学习任务中提供更好的性能。

    May, 2017

  • 核岭回归的随机傅里叶特征：逼近界限和统计保证

    本文通过研究谱矩阵近似的角度，给出了随机傅里叶特征的数量界和核岭回归的统计保障，而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。

    Apr, 2018

  • 用随机特征驯服图核函数

    本文介绍了图随机特征（GRFs）的机制，并对其进行了理论和实证分析。GRFs 可以用于构建基于图节点定义的多个重要核函数的无偏随机估计器。相比传统的图核函数算法，GRFs 具有显著的计算性能。此外，GRFs 还提供了一种简单的分布式算法以及其改进版本 q-GRFs 来优化 GRFs 的方差，尤其适用于解决具有正对称矩阵的线性方程组。

    Apr, 2023

  • 随机矩阵分析随机傅里叶特征：超越高斯核，精确的相变和相应的双下降

    本文讨论基于随机傅里叶核（RFF）的回归模型的精确渐进特征，研究表明在数据样本数、数据维度和特征空间维度等三个因素中为大且可比较的实际场景下，随机 RFF Gram 矩阵不再收敛于著名的极限高斯核矩阵而是有一个可处理的行为，双重下降测试误差曲线从这种相变行为中得出，该结果不依赖于数据分布的强假设。

    Jun, 2020

  • 混合随机特征

    提出了一种新的混合随机特征 (HRFs) 类用于线性化 Softmax 和高斯核，通过波谷转换并利用随机特征来提供更精确的核估计，具有较强理论保证，经过实证评估，在点核估计实验中获得了好的结果，同时还能应用在数据聚类以及机器学习下游应用中。

    Oct, 2021

  • 正交随机特征

    本文通过使用正交矩阵代替高斯随机矩阵来减小核近似误差提出了正交随机特征和结构化正交随机特征，并为此行为提供理论和实证证据。实验结果证明了与现有方法相比 ORF 和 SORF 的有效性。

    Oct, 2016

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 广义谱方法的随机特征逼近

    随机特征逼近是加速大规模算法中核方法的最流行技术之一，并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质，包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器，我们在适当的源条件下定义的规则性类别（甚至包括不在再生核希尔伯特空间中的类别）上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。

    Aug, 2023

  • 低精度随机傅里叶特征在内存约束下的核近似

    本研究探究在内存预算下如何培训广义良好的核逼近方法，提出了一种低精度量化的随机傅里叶特征方法，旨在以内存预算的方式构建高秩逼近，并在四个基准数据集上证明了该方法可以在少得多的内存的情况下与全精度 RFFs 和 Nyström 方法相匹配。

    Oct, 2018