Mar, 2017

组合核的随机特征

PDF
TL;DR本研究介绍并分析了一种简单的随机特征方案 (RFS)。我们使用的复合核受卷积神经网络和内核结构的启发，生成的方案产生了稀疏且高效计算的特征。每个随机特征都可以表示为合成树中少量（随机的）路径的代数表达式，这样，复合型随机特征可以被紧密地存储。这种生成过程的离散性使得重复特征的去重化成为可能，并且这样做可以进一步压缩表示并增加嵌入的复杂性。我们的方法补充并可与先前的随机特征方案结合使用。
random feature schemecompositional kernelsconvolutional neural networkssparse featuresalgebraic expressions
发现论文，激发创造
  • 核逼近的随机特征：算法、理论及其它

    本篇论文系统地回顾了过去十年中随机特征方面的研究进展，包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等，并探讨了随机特征与深度神经网络之间的关系，有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南，并为这个领域的未来研究方向提供一些启示。

    Apr, 2020

  • 非随机特征

    本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

    Oct, 2017

  • 广义谱方法的随机特征逼近

    随机特征逼近是加速大规模算法中核方法的最流行技术之一，并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质，包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器，我们在适当的源条件下定义的规则性类别（甚至包括不在再生核希尔伯特空间中的类别）上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。

    Aug, 2023

  • 斯坦随机特征回归

    在大规模回归问题中，通过通过定义核函数的谱密度，利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程（GP），随机 Fourier 特征（RFFs）显著提高了 GP 的计算可扩展性和灵活性。然而，RFFs 在核逼近和贝叶斯核学习中的有效性取决于能否轻松地采样核谱测度并生成高质量的样本。我们引入 Stein 随机特征（SRF），利用 Stein 变分梯度下降，可以用于生成已知谱密度的高质量 RFF 样本，以及灵活高效地近似传统上非分析的谱测度后验。SRFs 只需要评估对数概率梯度，即可同时进行核逼近和贝叶斯核学习，从而在传统方法上实现更好的性能。通过将其与基准模型在核逼近和众所周知的 GP 回归问题上进行比较，我们经验证明了 SRF 的有效性。

    Jun, 2024

  • 随机傅里叶特征的最优速率

    本文通过理论分析，详细研究了随机傅里叶特征（RFF）在逼近质量方面的表现，并提出了一种 RFF 逼近核的导数的方法。

    Jun, 2015

  • 用随机特征驯服图核函数

    本文介绍了图随机特征（GRFs）的机制，并对其进行了理论和实证分析。GRFs 可以用于构建基于图节点定义的多个重要核函数的无偏随机估计器。相比传统的图核函数算法，GRFs 具有显著的计算性能。此外，GRFs 还提供了一种简单的分布式算法以及其改进版本 q-GRFs 来优化 GRFs 的方差，尤其适用于解决具有正对称矩阵的线性方程组。

    Apr, 2023

  • 正交随机特征：显式形式和尖锐不等式

    通过正交随机特征来近似普遍的高斯核，本研究分析了基于正交随机特征的核逼近的偏差和方差，并通过使用归一化贝塞尔函数推导出了明确的表达式，并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。

    Oct, 2023

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 为组合高斯过程模型设计的自适应 RKHS Fourier 特征

    利用深高斯过程（Deep Gaussian Processes）的组合结构来建模非平稳过程，并借助全局傅里叶特征提高其捕捉复杂非平稳模式的能力，通过引入基于常微分方程的傅里叶特征使我们的模型能够通过卷积操作进行自适应振幅和相位调制，进一步提升了回归任务的预测性能。

    Jul, 2024

  • 随机 Fourier 特征的统一分析

    使用随机傅里叶转换对核方法的学习过程进行风险分析，同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法，可大大降低计算成本。

    Jun, 2018