Feb, 2015

核向量积分规则与随机特征展开的等价性

PDF
TL;DR通过一个特定的分解，我们将用于计算积分的基于核的求积法则视为正定核的随机特征扩展的一种特例。我们提供了理论分析，给出了给定逼近误差所需样本数的上下界，特别地，我们展示了上界可以从一种特定的非一致分布中独立同分布地获得，而下界对于任何一组点都是有效的。
kernel-based quadraturerandom feature expansionspositive definite kernelsapproximationeigenvalues
发现论文，激发创造
  • 基于 Quadrature 的特征用于核逼近

    通过基于 Monte Carlo 近似的、通过积分表示核函数并扩展到更好的核近似估计的数值积分技术，我们提出了一个统一的方法来改进核逼近的随机特征方法，并得出了其收敛行为，并进行了大量实证研究，支持了我们的假设。

    Feb, 2018

  • 核特征的高斯积分

    使用高斯积分逼近核函数的频域，可以构建确定性特征图来替代随机傅里叶特征映射，其采样量是以指数形式来考虑的，适用于稀疏 ANOVA 核函数，具有生成速度快和较高精度的特点。

    Sep, 2017

  • 核积分规则在错误规格设置中的收敛保证

    本文探讨了一种基于核的数值积分方法，向黑匣子函数提供单一的代替方法，同时证明该方法的有效性不受核空间假设的影响，只要函数的光滑度可以通过 RKHS 或 Sobolev 空间的幂次表示甚至在光滑度假设不成立的情况下也具有收敛性。

    May, 2016

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 正交随机特征：显式形式和尖锐不等式

    通过正交随机特征来近似普遍的高斯核，本研究分析了基于正交随机特征的核逼近的偏差和方差，并通过使用归一化贝塞尔函数推导出了明确的表达式，并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。

    Oct, 2023

  • 随机 Fourier 特征的统一分析

    使用随机傅里叶转换对核方法的学习过程进行风险分析，同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法，可大大降低计算成本。

    Jun, 2018

  • 所有随机特征表示等效

    根据我们导出的最优取样策略，我们证明了在这一策略下，所有的随机特征表示具有相同的逼近误差，从而建立了一个适用于所有随机特征表示的下界，这意味着我们可以根据需求自由选择任何表示方式。

    Jun, 2024

  • 核岭回归的随机傅里叶特征：逼近界限和统计保证

    本文通过研究谱矩阵近似的角度，给出了随机傅里叶特征的数量界和核岭回归的统计保障，而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。

    Apr, 2018

  • 非随机特征

    本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

    Oct, 2017

  • 在错误设定下确定性基于核的数值积分规则的收敛分析

    本文研究了基于核的求积规则在误差设置中的收敛分析，着重于 Sobolev 空间中的确定性求积。具体而言，我们处理了测试积分不够光滑的错误设置，并在求积规则上提供基于两种不同假设的收敛保证：一种是基于求积权重的假设，另一种是基于设计点的假设。同时，我们还发现了一种设计点的条件，使贝叶斯积分法对误差设置具有鲁棒性，并在这种条件下，它可以自适应地实现更低阶 Sobolev 空间的最佳收敛率。

    Sep, 2017