本文通过使用正交矩阵代替高斯随机矩阵来减小核近似误差提出了正交随机特征和结构化正交随机特征,并为此行为提供理论和实证证据。实验结果证明了与现有方法相比 ORF 和 SORF 的有效性。
Oct, 2016
本文介绍了核方法在机器学习问题中的应用,提到了采用随机傅里叶特征解决大规模数据集问题的方法,并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用,同时指出了该特征的两种变体中,更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。
Jun, 2015
本文通过研究谱矩阵近似的角度,给出了随机傅里叶特征的数量界和核岭回归的统计保障,而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。
Apr, 2018
本文通过理论分析,详细研究了随机傅里叶特征(RFF)在逼近质量方面的表现,并提出了一种 RFF 逼近核的导数的方法。
使用随机傅里叶转换对核方法的学习过程进行风险分析,同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法,可大大降低计算成本。
Jun, 2018
使用高斯积分逼近核函数的频域,可以构建确定性特征图来替代随机傅里叶特征映射,其采样量是以指数形式来考虑的,适用于稀疏 ANOVA 核函数,具有生成速度快和较高精度的特点。
Sep, 2017
本文提出一种基于 Fourier 分析的方法,用于训练翻译不变或旋转不变的核,并通过一种在线平衡找到动态算法来解释我们的算法,并在合成和现实世界数据集上进行评估,证明了扩展性和与相关随机特征方法相比的一致改进。
Oct, 2017
随机特征逼近是加速大规模算法中核方法的最流行技术之一,并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质,包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器,我们在适当的源条件下定义的规则性类别(甚至包括不在再生核希尔伯特空间中的类别)上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。
Aug, 2023
提出了一种新的混合随机特征 (HRFs) 类用于线性化 Softmax 和高斯核,通过波谷转换并利用随机特征来提供更精确的核估计,具有较强理论保证,经过实证评估,在点核估计实验中获得了好的结果,同时还能应用在数据聚类以及机器学习下游应用中。
Oct, 2021
通过基于指数的泰勒展开的显式有限多项式特征表示,我们研究了训练和使用高斯核 SVM,尽管在特征数量方面不如最近提出的随机傅里叶特征 [Rahimi and Recht, 2007] 高效,但我们展示了这种多项式表示法可以在计算成本上提供更好的近似,这使得我们的特征在处理大数据集并进行在线或随机训练时特别有吸引力。
Sep, 2011